search

SpiderClub / weibospider

:zap: A distributed crawler for weibo, building with celery and requests.
MIT License
4.81k stars 1.21k forks source link

请问可以抓到多久之前的围脖 #188

Closed myrainbowandsky closed 4 years ago

myrainbowandsky commented 4 years ago

在提交Issue之前请先回答下面问题，谢谢！

1.你是怎么操作的？

尽量把你的操作过程描述清楚，最好能够复现问题。

2.你期望的结果是什么？

抓取指定时间段的围脖

3.实际上你得到的结果是什么？

4.你使用的是哪个版本的WeiboSpider? 你的操作系统是什么？是否有读本项目的常见问题？

OneCodeMonkey commented 4 years ago

要看什么类型的任务，如果抓用户主页，可以抓到所有时间点的历史记录。如果抓搜索页或话题页，则取决于关键词内容下的时间跨度

myrainbowandsky commented 4 years ago

谢谢！可以说没有时间限制。

但是比如抓完80页以后，还回自动回到“第一页”抓取更新的微博吗？还是说，需要手动重新启动

thekingofcity commented 4 years ago

需要重新启动, 可以设置定时抓取第一页亦或是添加抓完最后一页时发布新的抓取任务