search

SpiderClub / haipproxy

:sparkling_heart: High available distributed ip proxy pool, powerd by Scrapy and Redis
https://spiderclub.github.io/haipproxy/
MIT License
5.43k stars 914 forks source link

请问是否支持多线程爬取啊 #56

Closed liangYe10086 closed 6 years ago

liangYe10086 commented 6 years ago

想请教一下，当我多线程爬取的时候，一直是0 proxies have been fetched，这说明这个系统不支持多线程爬取吗

ResolveWang commented 6 years ago

支持多线程啊，示例代码就是多线程

确认一下你的ip池中是否有代理？

ResolveWang commented 6 years ago

系统有大概半个小时左右的预热时间，就是说你把环境搭建起来之后大概半个小时之后才能使用该代理池哈

liangYe10086 commented 6 years ago

非常感谢耐心解答，示例代码中的多线程是在zhihu_spider 中的get_followers函数里面吗 我这边主要是想用多线程同时爬取多个url子网页的内容 还请大神多多指教

ResolveWang commented 6 years ago

也是可以啊。你那边不行吗？看了Redis中有代理了吗？

我这边目前都还在抓数据呢

liangYe10086 commented 6 years ago

我再试试~可能是线程竞争引起的 redis中有代理的 thx