search

Boris-code / feapder

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单，功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度
http://feapder.com
Other
2.94k stars 480 forks source link

爬虫集成 - feapder-document #18

Open Boris-code opened 3 years ago

Boris-code commented 3 years ago

https://boris.org.cn/feapder/#/usage/%E7%88%AC%E8%99%AB%E9%9B%86%E6%88%90

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

AlanWeekend commented 3 years ago

batch_interval 是批次定时执行的间隔时间吗？我设置间隔0.016小时。这个批次执行完了之后，并没有更新is_done字段。也没有在0.016小时之后重新开始执行批次。需要我手动重新执行start_monitor_task()。才会把is_done更新为1，然后创建了一个新的批次记录？如果我要做循环执行的，怎么做？

Boris-code commented 3 years ago

@AlanWeekend batch_interval 是批次定时执行的间隔时间吗？我设置间隔0.016小时。这个批次执行完了之后，并没有更新is_done字段。也没有在0.016小时之后重新开始执行批次。需要我手动重新执行start_monitor_task()。才会把is_done更新为1，然后创建了一个新的批次记录？如果我要做循环执行的，怎么做？

不是定时启动执行， 只是时间间隔，定时启动需要自己设置定时计划

AndrewAndrea commented 3 years ago

start_request打印为啥不显示呢

Boris-code commented 3 years ago

@AndrewAndrea start_request打印为啥不显示呢

不知道哇

wmy1334 commented 2 years ago

关于爬虫集成这块，如果有上百个解析器的话，是否能直接加载所有的解析器呢，还是的spider.add_parser(xxxParser)手动添加上百个呢？有没有scrapy的spider_loader之类的加载器呢？

wozaitianwai commented 9 months ago

尝试集成了下，为什么会出现值执行了第一个集成的解析器的部分，然后直接就任务完成了