没有爬取最新一条微博

dataabc / weibo-crawler

新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频

3.41k stars 761 forks source link

Open babepig018 opened 2 years ago

babepig018 commented 2 years ago

爬取某用户全部微博的时候，最新一条微博会漏掉 ps：最新微博的发布时间要早于我开始爬去的时间

dataabc commented 2 years ago

是不是最新的是置顶，我最近没法调试，不确定。

babepig018 commented 2 years ago

非置顶

dataabc commented 2 years ago

如果方便，可以先使用weibispider，这个是可以获取最新一条的。

libai1024 commented 2 years ago

我也发现没法获得最新的一条

libai1024 commented 2 years ago

问题找到了，现在微博我print了一下js 整理了一下格式发现第一条微博被包含在

libai1024 commented 2 years ago

第一条微博消息被包含在cars 列表第一个字典的card_group键的列表中第一个元素原因不太清楚

libai1024 commented 2 years ago

我自己的修改方案就是第一页的第一条做一个特殊判断，去取他的card_group作为待处理内容。