Closed liunux-1992 closed 7 years ago
首先看作者的说明：
爬虫程序依赖mongo和rabbitmq，因此这两个服务必须正常运行和配置。为了加快下载效率，图片 下载是异步任务，因此在启动爬虫进程执行需要启动异步worker，启动方式是进入zhihu_spider/ zhihu目录后执行下面命令:
celery -A zhihu.tools.async worker --loglevel=info
进入zhihu_spider后执行docker-compose up ，进入container后和本地运行方法相同，依 次启动mongo、rabbitmq、异步任务、爬虫进程即可。docker采用的image可以参见我的另一个项> 目spider-docker获取。
docker-compose up
完全语言描述，没有执行命令的说明，对命令也没有解释。对于新手，scrapy还一知半解，然后也没用过mongo和rabbitmq，根本无从下手。如何启动？启动的哪段代码？启动后在哪查看结果或者退出？一点说明都没有。不要瞧不起新手，只是学的晚而已。这个代码的说明文档真不敢恭维。
确实不怎么样
LowinLi
commented
5 years ago LowinLi
commented
5 years ago
首先看作者的说明：
使用方法
本地运行
爬虫程序依赖mongo和rabbitmq，因此这两个服务必须正常运行和配置。为了加快下载效率，图片 下载是异步任务，因此在启动爬虫进程执行需要启动异步worker，启动方式是进入zhihu_spider/ zhihu目录后执行下面命令:
docker部署
进入zhihu_spider后执行
docker-compose up，进入container后和本地运行方法相同，依 次启动mongo、rabbitmq、异步任务、爬虫进程即可。docker采用的image可以参见我的另一个项> 目spider-docker获取。完全语言描述，没有执行命令的说明，对命令也没有解释。对于新手，scrapy还一知半解，然后也没用过mongo和rabbitmq，根本无从下手。如何启动？启动的哪段代码？启动后在哪查看结果或者退出？一点说明都没有。不要瞧不起新手，只是学的晚而已。这个代码的说明文档真不敢恭维。