search

dataabc / weibo-crawler

新浪微博爬虫，用python爬取新浪微博数据，并下载微博图片和微博视频
3.41k stars 761 forks source link

上次爬到博主设置的不可见日期后还会报错继续爬 需要手动停止 这次直接卡住了 还没开始下图片视频 #331

Open gghrgr opened 1 year ago

gghrgr commented 1 year ago

这是在后台继续无用功爬不可见的部分吗? 但是后面有1000多页 可见部分也没下完 而且今天不知道为什么特别慢 不知道要不要继续等

gghrgr commented 1 year ago

更新: 本来想ctrl c停掉 结果按成x 然后居然动了 继续龟速爬

gghrgr commented 1 year ago

更新: 这次不可见部分居然还能爬 而且没有报错 但是是部分的 搞不懂微博这机制

dataabc commented 1 year ago

程序使用的是接口，不是网页，可能是这个原因吧，不确定

gghrgr commented 1 year ago

ok 谢谢 另外速度慢是因为上次下太多被IP限制了吗? 可是已经隔了一个礼拜了

dataabc commented 1 year ago

为了防止被限制，程序会在运行时每几页会暂停一段时间，可能是这个原因。还可能和接口或网络有关。

gghrgr commented 1 year ago

为了防止被限制，程序会在运行时每几页会暂停一段时间，可能是这个原因。还可能和接口或网络有关。

谢谢