Open chujiangke opened 6 years ago
2 添加远程cfg方案,用于修改添加爬虫url 关键字,避免分布式客户端,因为control端口 url改变后要重复修改代码。 3 添加requests 返回字符串编码格式。 4 添加log日志 5 python3.6 linux编译调试通过
待优化 1 requests 对3g utf-8格式识别为gbk编码,待优化。 2 要部分网站会被封ip 要整合 代理ip池。
2 添加远程cfg方案,用于修改添加爬虫url 关键字,避免分布式客户端,因为control端口 url改变后要重复修改代码。 3 添加requests 返回字符串编码格式。 4 添加log日志 5 python3.6 linux编译调试通过
待优化 1 requests 对3g utf-8格式识别为gbk编码,待优化。 2 要部分网站会被封ip 要整合 代理ip池。