请问你是怎么解决知乎反爬虫问题的？

KKys / ZhiHuSpider

Java无框架实现爬取知乎用户信息、图片和知乎推荐内容并下载到本地或数据库中

388 stars 209 forks source link

Open hzxscyq opened 8 years ago

hzxscyq commented 8 years ago

我在抓取回答的时候设置了sleep依然被限制访问了有什么办法吗？

KKys commented 8 years ago

我这边暂时还没有遇到反爬虫问题...

KKys commented 7 years ago

设置代理IP吧，我刚刚更新了爬虫程序，详见https://zhuanlan.zhihu.com/p/24973518

holy-silent commented 7 years ago

哥们你的代理池IP是从哪个地方获取的？这些代理都是免费的吗？

KKys commented 7 years ago

是的，都是百度的免费代理