qiyeboy / SpiderBook

<<python爬虫开发与项目实战>>书籍配套源码和说明
MIT License
981 stars 521 forks source link

1 添加存储为文本的方法。 #101

Open chujiangke opened 6 years ago

chujiangke commented 6 years ago

2 添加远程cfg方案,用于修改添加爬虫url 关键字,避免分布式客户端,因为control端口 url改变后要重复修改代码。 3 添加requests 返回字符串编码格式。 4 添加log日志 5 python3.6 linux编译调试通过

待优化 1 requests 对3g utf-8格式识别为gbk编码,待优化。 2 要部分网站会被封ip 要整合 代理ip池。