dataabc / weiboSpider

新浪微博爬虫,用python爬取新浪微博数据
8.37k stars 1.98k forks source link

为什么爬取有些日期会出写空白页,直接停止? #405

Closed a1012819022 closed 2 years ago

a1012819022 commented 2 years ago

为了更好的解决问题,请认真回答下面的问题。等到问题解决,请及时关闭本issue。

答:py

答:是

答:是

答:

答:

答:

dataabc commented 2 years ago

能否详细说明出现的情况,谢谢。

a1012819022 commented 2 years ago

我爬取id为[2508021512]的用户,日期设定为2018-1-1到2018-12-31,运行的时候显示获取三个空白微博就停止了。

dataabc commented 2 years ago

我测试了上面的微博,没有出现上面的问题,可能是之前速度太快被暂时限制了,限制过一段时间会自动解除,当end_date为日期时,可能会漏掉部分微博,建议改成now。

stale[bot] commented 2 years ago

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.

stale[bot] commented 2 years ago

Closing as stale, please reopen if you'd like to work on this further.

aiden-leong commented 4 months ago

我爬取id为[2508021512]的用户,日期设定为2018-1-1到2018-12-31,运行的时候显示获取三个空白微博就停止了。

@dataabc 这个情况是真实存在的。

https://github.com/dataabc/weiboSpider/blob/4c9c8bdc5232132ced5d54f04d946aac3c6b9f57/weibo_spider/parser/page_parser.py#L57-L59

可以修改page_parser.py,调大重试次数,或者干脆注释掉。