dataabc / weibo-crawler

新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频
3.46k stars 768 forks source link

被ban了 #226

Open konglq1025 opened 3 years ago

konglq1025 commented 3 years ago

大佬,我用新修复的代码只获取用户数据,但到第50个的时候就出错了,显示被ban了,然后程序就停止了。利用修复Logging error之前的版本时没有出现这个错误,可以一直获取数据。

dataabc commented 3 years ago

之前的版本现在也可以获取数据吗?新代码只是修了数值错误,和之前的区别不大。

konglq1025 commented 3 years ago

现在也可以获取用户信息,之前的代码只是显示一些错误,杂乱的信息,还是可以获取用户信息(其他信息不清楚),但修改后的代码到第50个就显示“被ban了”。

dataabc commented 3 years ago

是不是修改后的没有cookie

konglq1025 commented 3 years ago

有cookie,能获取生日等字段,没有cookie的话少几个字段,现在是到第50个id就显示被ban了,不知道别人也这样吧。

konglq1025 commented 3 years ago

我比较了两个版本,修改Logging error后的版本在def get_user_info(self): 多了一个else语句。 我将 def get_user_info(self): 中的 else下面的语句删除了就好了。
else: logger.info(u"被ban了") sys.exit()

可能是遇到了错误user_id,修改前的版本显示keyerror:“id”后继续往下爬取,但修改后的版本 中那个else语句让程序停止了。

dataabc commented 3 years ago

感谢反馈,非常有用的反馈,有时间完善下。