search

dataabc / weibo-crawler

新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频
3.33k stars 744 forks source link

weibo.cn 疑似挂掉了或升级反爬 #312

Closed uofcyx closed 2 years ago

uofcyx commented 2 years ago

感谢您的优异代码！我之前尝试用代码无cookie抓取数据成功，但今天发现同样的代码在抓取数据时，绝大部份user_id会因为跳转过多而无法抓取. error message: “requests.exceptions.TooManyRedirects: Exceeded 30 redirects.”

用Chrome浏览器直接打开m.weibo.cn/u/user_id的时候同样显示“The page isn't working, m.weibo.cn redirected you too many times.” 该情况在清理chrome cookies之后稍有好转，但仍有大约一半的ids无法抓取。

此外，今天我想获取自己的微博cookie时，发现 https://passport.weibo.cn/signin/login 这个网址无法登陆，输入账密后提示“url无效”。.cn似乎受到了限制。

Taemaly commented 2 years ago

Same problem for me even when I use a cookie , i still get the same error on every account I try to download

gujiwuqing commented 2 years ago

'cryptography' package is required for sha256_password or caching_sha2_password auth methods 一直报这个错误

dataabc commented 2 years ago

感谢反馈。我最近不方便调试，不清楚原因，大家可以加上cookie看看，如果不行，可以使用weiboSpider。

uofcyx commented 2 years ago

感谢反馈。我最近不方便调试，不清楚原因，大家可以加上cookie看看，如果不行，可以使用weiboSpider。

感谢大大的辛勤工作！我觉得不是代码的原因，而是weibo.cn自8/2起挂掉了（或间歇性挂掉） -- 直接用浏览器都无法打开网页。加不加cookie，用Spider或Crawler应该都不会有大的改变。希望过一阵网站会恢复，否则基于weibo.cn的爬虫就危险了...

LambdaYH commented 2 years ago

我测试过m.weibo.cn，似乎用境内ip访问是正常的，但是我用了香港或者日本ip访问就会大概率被无限302

uofcyx commented 2 years ago

我测试过m.weibo.cn，似乎用境内ip访问是正常的，但是我用了香港或者日本ip访问就会大概率被无限302

太感谢了！搭了个梯子问题就解决了。感谢～！该issue可以关闭了。