SpiderKeeper支持高可用部署环境吗

DormyMo / SpiderKeeper

admin ui for scrapy/open source scrapinghub

http://sk.7mdm.com:5000/

2.74k stars 508 forks source link

Open LuZhongliang opened 7 years ago

LuZhongliang commented 7 years ago

例如我的爬虫部署了多台服务器，都启用了scrapyd。怎么在SpiderKeeper里配置这些服务器呢？因为我看SpiderKeeper的启动是用的 spiderkeeper --server=http://localhost:6800

tenaghirmb commented 7 years ago

貌似加两个server参数就可以，好像就是为分布式管理设计的。。同一个爬虫部署会发给多台机器。。分布式爬虫部署可能不能用相同项目名称