如何在多台服务器上进行爬虫的部署和调度呢？

DormyMo / SpiderKeeper

admin ui for scrapy/open source scrapinghub

http://sk.7mdm.com:5000/

2.74k stars 508 forks source link

Closed m358807551 closed 7 years ago

m358807551 commented 7 years ago

如何在多台服务器上进行爬虫的部署和调度呢？在文档里没有找到。。

DormyMo commented 7 years ago

每台服务器部署scrapyd, sk设置多个 --server 参数即可