search

AlexTan-b-z / ZhihuSpider

知乎分布式爬虫（Scrapy、Redis）
MIT License
165 stars 59 forks source link

都运行不起来 #3

Closed ghost closed 7 years ago

ghost commented 7 years ago

zhihuspider0.py以及zhihuspider1.py都运行不了，一直卡在第一个链接上，怀疑代码的能用性

AlexTan-b-z commented 7 years ago

我这边运行是没有问题的，请问一下你装了redis-server和mongodb吗？ 还要确保运行起来哟！ 如果没运行起来的话，那是会卡在第一个链接上的。

AlexTan-b-z commented 7 years ago

如果你还是不能运行的话，可以查看一下setting文件中的redis、Mongo的ip及端口设置是否与你本机上的一置，如果还有问题，欢迎留言！ 如果运行成功的话，也记得来反馈一下哦！

ghost commented 7 years ago

运行成功了，但是现在API接口不返回数据了,模拟点击也返回不了关注着和被关注者数据了。。好想要数据啊

AlexTan-b-z commented 7 years ago

不要运行zhihuspider1就是模拟点击那个，运行zhihuspider0这个文件（里面的name是zhihuspider），运行命令: scrapy crawl zhihuspider

AlexTan-b-z commented 7 years ago

模拟点击那个只是用于互相学习，虽然模拟点击实现起来方便，但爬取速度很慢，而且我也没调试zhihuspider1了，因为模拟浏览器的爬取方式不适合我们这个项目的应用场景。

ghost commented 7 years ago

嗯 API只返回一部分数据了，有些数据返回不了了 是改版了吗。

AlexTan-b-z commented 7 years ago

我写的是存到mongodb里的，2.0只是加了布隆过滤器而已，1.0应该也能有数据呀，你多运行一会儿试试，每个Item的数据都有的。

ghost commented 7 years ago

是有数据的但是不全，我直接在浏览器输入API 只能返回一些数据 数据返回不全

AlexTan-b-z commented 7 years ago

你注意看报错没...如果等了很久都还没有数据的话（顺便给我回复一下，我看看哪里错了），你用2.0试试