search

caolvchong-top / twitter_download

推特 图片 视频 爬虫;一键下载
330 stars 38 forks source link

对于下载链接失败时，实际并发表现存在一些问题 #28

Closed ouy160 closed 6 months ago

ouy160 commented 7 months ago 
          非常感谢您提的建议，但其实在之前的更新中已经添加了对并发的限制，在 main.py 的[281行](https://github.com/caolvchong-top/twitter_download/blob/7281a8c8480d867f8d384e8a17a9ba746c9d038c/main.py#L281)。

photo_lst 中存放的是某页(20-100条推文)中的全部 图片/视频 的源地址，每个链接都等待两秒，对于几百上千的图片量就有些长了。

_Originally posted by @caolvchong-top in https://github.com/caolvchong-top/twitter_download/issues/25#issuecomment-1910536791_

例如：修改之前，设置并发数为1，实际的并发数量不是只有1个。在一个链接下载出现错误时，会紧接着开始并发下一个链接，可能会导致同样的下载失败。起码在我下载过程中，遇到了下载失败时，必须等待2s才能开始并发的情况。 因此，当前链接下载失败，进行下一个链接下载的情况时，要有并发等待时间，才能下载成功。

caolvchong-top commented 7 months ago

可以提供一下配置文件和截图之类的吗，我想复现一下。

或者我可以把异步改为可选项，直接正常单线程下

ouy160 commented 7 months ago

image 以上截图，是将并发数设置为1的情况下，仍在1S内有多次并发。

caolvchong-top commented 7 months ago

已更新，异步可以直接关闭