dataabc / weibo-crawler

新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频
3.33k stars 744 forks source link

微博爬取过程中报错导致部分微博未能成功获取 #334

Open Noeinmaxwell opened 1 year ago

Noeinmaxwell commented 1 year ago

在爬取部分用户微博时会出现list index out of range和'NoneType' object has no attribute 'xpath'错误导致程序跳过数条微博,其中包括公开微博和仅粉丝可见的微博。 运行时使用Cookie,在使用weiboSpider项目时可以正常运行。 运行日志如下: all.log error.log

dataabc commented 1 year ago

可能是速度太快被暂时限制了,限制一段时间自动解除,过一段时间再看看。

Noeinmaxwell commented 1 year ago

用其他网络和账号测试了一下,这几条错误可以稳定复现,应该不是被限制的问题。使用的是外部文件限制抓取id和since_date的模式。

dataabc commented 1 year ago

感谢反馈。我现在不方便调试,如果您方便,可以先使用weiboSpider。