Open Noeinmaxwell opened 1 year ago
在爬取部分用户微博时会出现list index out of range和'NoneType' object has no attribute 'xpath'错误导致程序跳过数条微博,其中包括公开微博和仅粉丝可见的微博。 运行时使用Cookie,在使用weiboSpider项目时可以正常运行。 运行日志如下: all.log error.log
可能是速度太快被暂时限制了,限制一段时间自动解除,过一段时间再看看。
用其他网络和账号测试了一下,这几条错误可以稳定复现,应该不是被限制的问题。使用的是外部文件限制抓取id和since_date的模式。
感谢反馈。我现在不方便调试,如果您方便,可以先使用weiboSpider。
在爬取部分用户微博时会出现list index out of range和'NoneType' object has no attribute 'xpath'错误导致程序跳过数条微博,其中包括公开微博和仅粉丝可见的微博。 运行时使用Cookie,在使用weiboSpider项目时可以正常运行。 运行日志如下: all.log error.log