dataabc / weiboSpider

新浪微博爬虫,用python爬取新浪微博数据
8.37k stars 1.98k forks source link

爬完一个id自动停止 #240

Closed lplpjjj closed 4 years ago

lplpjjj commented 4 years ago

为了更好的解决问题,请认真回答下面的问题。等到问题解决,请及时关闭本issue。

首先感谢作者开发这个code~我想一次性爬取多个用户,按照说明设置了list,但是仿佛程序每爬完一个id就会出现上述报错。我检查了爬下来的微博,时间都对,也都是爬下来的。只是不能自动跳到下一个id,想知道如何解决?

我检查了一下,发现问题出在write.json。从user id list开始的第二id开始,json file里的[weibo]就是空的,所以会有那个list index out of range的error;但与此同时cvs和txr的file是好的,能看到爬下来的微博。希望这个信息有用。

再次update一下,我发现运行途中,json里的weibo是有信息的;但是每一个id跑了一定页数之后,继续跑的时候就显示”0条微博写入csv/txt/json“,继续这样空跑十几页才停止。因此json里的weibo似乎被覆盖了,但是csv和txt里面是没有受影响的。希望这个信息有用。

dataabc commented 4 years ago

感谢热心反馈。

非常有价值的建议,原来的代码可能会产生空数据,写入json时会出错,现在应该解决了。如果还有问题,欢迎继续讨论。

lplpjjj commented 4 years ago

感谢热心反馈。

非常有价值的建议,原来的代码可能会产生空数据,写入json时会出错,现在应该解决了。如果还有问题,欢迎继续讨论。

已经解决了!谢谢作者!