search

Boris-code / feapder

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单，功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度
http://feapder.com
Other
2.88k stars 476 forks source link

批次爬虫获取redis中的任务时一直阻塞，任务存在就是不去执行，重新执行采集程序又正常了 #248

Open JeffreyLiuJunJie opened 7 months ago

JeffreyLiuJunJie commented 7 months ago

image

xx299x commented 5 months ago

确保 COLLECTOR_TASK_COUNT <= SPIDER_THREAD_COUNT

JeffreyLiuJunJie commented 5 months ago

确保 COLLECTOR_TASK_COUNT <= SPIDER_THREAD_COUNT 我设置的都是32

Boris-code commented 4 months ago

这种情况 你要去redis里看看任务 是不是 有问题，消费的条件是 sore小于当前时间戳，且 parse_name 和 爬虫名一样