search

dataabc / weiboSpider

新浪微博爬虫，用python爬取新浪微博数据
8.15k stars 1.95k forks source link

Fix the crawling of toutiao article urls. #536

Closed songzy12 closed 10 months ago

songzy12 commented 10 months ago

Fix #518.

主要是两个修改：

  1. 通过搜索“头条文章”，我们发现有两种可能的文本“发布了头条文章”或“我发表了头条文章”
  2. 通过查看相应的链接，我们发现头条文章现在的url形式为 https://weibo.com/ttarticle/

已使用以下user id做了测试：

  1. 6045161833 NgvSY9mW7,我发表了头条文章:《《小城人物志（2）》》 《小城人物志（2）》  ,https://weibo.com/ttarticle/p/show?id=2309404939358200529130 ,无,无,True,无,无,2023-08-27 14:36,李小李的iPhone 11,0,0,0

  2. 1955190431 Ng2CODhDi,发布了头条文章：《關於不實報道的重要申明澄清》 關於不實報道的重要申明澄清  ,https://weibo.com/ttarticle/p/show?id=2309404938233426608435 ,无,无,True,无,无,2023-08-24 12:07,微博 weibo.com,42,15,10

dataabc commented 10 months ago

已merge。头条文章确实改变了很多，修复的很好，赞。