search

dataabc / weibo-crawler

新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频
3.35k stars 750 forks source link

运行过程中出现KeyError: 'card_group' #395

Open wyzh0912 opened 1 year ago

wyzh0912 commented 1 year ago

报错信息为: Traceback (most recent call last): File "weibo.py", line 1095, in get_one_page weibos = weibos[0]["card_group"] KeyError: 'card_group'

还有，如果有些博主的主页的ID是字母的形式，不是数字，能爬取吗

wyzh0912 commented 1 year ago

爬有几个博主的内容没问题，爬另外几个博主的就出问题了

dataabc commented 1 year ago

可能是userid不对，字母形式的也有id，readme应该有获取userid的方法。有些看似是数字，可能也不是正确id，最好用readme的方法获取userid。

wyzh0912 commented 1 year ago

可能是userid不对，字母形式的也有id，readme应该有获取userid的方法。有些看似是数字，可能也不是正确id，最好用readme的方法获取userid。

中文id的问题解决了，确认了userid没问题，但是这个报错还是出现导致完全无法爬取内容，在爬取成功的时候，有时候也会出现这个报错。

wyzh0912 commented 1 year ago

在有些成功爬取的情况下，也会报这个错误，但是没有影响整体的爬取 有些就一直报错，无法爬取内容 （有些博主就没问题，有些博主的内容就爬取不了）

dataabc commented 1 year ago

我目前不方便调试，不确定是否是接口改变了，期待其他网友解答。

wyzh0912 commented 1 year ago

我目前不方便调试，不确定是否是接口改变了，期待其他网友解答。

谢谢您的解答，辛苦了。

haohaomiao commented 9 months ago

加上cookie试一下呢？我这边加上cookie之后解决了