dataabc / weibo-crawler

新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频
3.44k stars 768 forks source link

微博爬取的局部效率优化建议 #258

Open byghit opened 2 years ago

byghit commented 2 years ago

因不太熟悉python,不好直接改代码。所以提个建议。 发现一个优化点,当配置只爬取原创,过滤转发微博时,在获取微博内容时,可以直接忽略转发的微博,而不是在获取微博信息后根据是否过滤再忽略,毕竟主要花时间的地方是在获取信息上,特别是微博是长微博时效率更明显。

dataabc commented 2 years ago

感谢建议。目前使用的接口无法直接获取原创微博,只能先全部然后筛选。还是非常感谢建议的,如果还有建议欢迎继续讨论。