随机节点偶发调度到多slave上

crawlab-team / crawlab

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台，支持任何语言和框架

https://www.crawlab.cn

BSD 3-Clause "New" or "Revised" License

11.37k stars 1.79k forks source link

Open Shinku-Chen opened 8 months ago

Shinku-Chen commented 8 months ago

master设置CRAWLAB_TASK_HANDLER_MAXRUNNERS=-1
master目前内存会暴增导致oom,因此需要保证master节点不运行脚本

slave两个节点,CRAWLAB_TASK_HANDLER_MAXRUNNERS=256

随机节点运行指令,发现偶发命令运行在两个slave节点上

执行命令 echo $$ && date

使用sleep 60并分别登陆两个slave容器排查,发现命令的确运行在两个slave上

LBatsoft commented 4 months ago

+1 目前几乎不使用随机节点了