微博爬虫其他话题如何获取

topiccrawler / jkcrawler

使用 Scrapy 写成的 JK 爬虫，图片源自哔哩哔哩、Tumblr、Instagram，以及微博、Twitter

GNU General Public License v3.0

113 stars 28 forks source link

Closed CY-Christin closed 3 years ago

CY-Christin commented 4 years ago

你好，我想爬取微博其他话题下的图片，m_weibo.py中的start_urls值是怎么获取的

CourierKyn commented 3 years ago

在 m.weibo.cn 的特定话题页面，向下滚动页面，在浏览器的网络控制台可以看见不断被请求的页面数据及其 URL