Python构建开源软件 python的构建工具setup.py的应用场景 一般在安装python模块的时候,我们会使用pip install 模块名进行在线安装,会安装依赖包,或者python setup.py install通过源码在本地安装,不会安装依赖包 在做一个开源项目的时候遇到了一些问题: 我的程序需要用到python的Redis等模块,以及自己写的入口文件run.py,怎么实现可以在服务器上方便的发布,也就是说,可以让依赖和自己写的程序一起安装,同时将自己写的模块变成一个可执行文件 ###　setup.py 示例以及注释: from setuptools import setup, find_packages …

Unix/Linux 编程實踐教程 ##　什麼是系統編程 系统资源 处理器 程序由指令构成,处理器是执行指令的硬件设备,一个系统中可能有多个处理器,内核可以安排一个程序何时开始开始执行,暂时停止,恢复执行,终止执行 输入输出 程序中所有的输入输出都必须流经内核,集中处理,保证了系统的正确性,安全性,有效性 进程管理 每个程序执行都必须有自己的资源,内核可以新建进程,中止进程,进程调度 内存 程序必须被装载到内存中才能运行,内核可以对进程进行管理,在程序需要的时候给程序分配内存,当程序不需要时,回收内存,还可以保证内存不被其他进程非法访问. 设备 各种设备的操作方式不相同,通过内核,可以屏蔽這種差异, …

RbbitMQ 学习笔记 AMQP协议组成部分 Module layer：协议最高层，定义了供客户端使用的命令 Session layer：中间层，负责将客户端的命令发送给服务端，再将服务端的命令返回给客户端，为客户端和服务端之间提供可靠的通信 Transport layer：最底层，包括二进制流的传输，帧处理，信道复用，错误检测 生产者使用AMQP的过程 Producter 建立连接 开启通道 发送消息 释放资源 消费者使用AMQP的过程 Consumer 建立连接 开启通道 准备接受消息 发送确认 释放资源 AMQP命令和javaAPI的对应 Connection.Start : factory.newConnection 新建 …

前记： 爬虫：使用任何技术手段，批量获取网站信息的一种方式。关键在于批量。 反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。关键也在于批量。 误伤：在反爬虫的过程中，错误的将普通用户识别为爬虫。误伤率高的反爬虫策略，效果再好也不能用。 拦截：成功地阻止爬虫访问。这里会有拦截率的概念。通常来说，拦截率越高的反爬虫策略，误伤的可能性就越高。因此需要做个权衡。 资源：机器成本与人力成本的总和。 url 管理器：管理待抓取url集合和已抓取url集合 个人：set(),python的set()可以自动去重 大量带爬取url：关系数据库mysql 互联网公司：缓存数据库(高性能) 网页下载器： …

请求方法： r=requests.get('http://httpbin.org/get')#get r = requests.post("http://httpbin.org/post")#post r = requests.put("http://httpbin.org/put")#put r = requests.delete("http://httpbin.org/delete")#delect r = requests.head("http://httpbin.org/get")#head r = …