search

dataabc / weibo-crawler

新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频
3.47k stars 770 forks source link

爬虫速度好慢 #460

Open xubing8 opened 3 weeks ago

xubing8 commented 3 weeks ago

现在速度超级慢，不到1000条微博，需要两个小时

dataabc commented 3 weeks ago

因为添加了sleep等待代码，注释了sleep代码会使速度变快，或者把sleep里的数字改小，不过这样会增加被限制的风险，不建议。

MiSanl commented 2 weeks ago

我现在爬取，有时会打印同一个链接好多次，不知道是否会被ban，慢点没关系，只要别断掉就好