search

dataabc / weibo-crawler

新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频
3.25k stars 739 forks source link

转发太多 #355

Open lonely67373 opened 1 year ago

lonely67373 commented 1 year ago

有的博主转发微博数量过多，虽然开了过滤，但是也会因为过一遍导致爬取时间过长，进而导致中止，例如 Progress: 3%|█████ | 26/791 [48:19<19:26:49, 91.52s/it] 正在过滤转发微博 正在过滤转发微博 正在过滤转发微博 正在过滤转发微博 已获取用户 的微博，内容为 ***** 正在过滤转发微博 正在过滤转发微博 正在过滤转发微博 已获取用户 * 的微博，内容为 **** 正在过滤转发微博

lonely67373 commented 1 year ago

有没有办法完全不爬取转发微博，缩短工作时间

dataabc commented 1 year ago

这个目前本程序无法满足，您可以使用weibospider项目，它可以做到。

lonely67373 commented 1 year ago

这个目前本程序无法满足，您可以使用weibospider项目，它可以做到。

那个项目不是不能爬live photo么，难受