Closed ouy160 closed 6 months ago
非常感谢您提的建议,但其实在之前的更新中已经添加了对并发的限制,在 main.py 的[281行](https://github.com/caolvchong-top/twitter_download/blob/7281a8c8480d867f8d384e8a17a9ba746c9d038c/main.py#L281)。
photo_lst 中存放的是某页(20-100条推文)中的全部 图片/视频 的源地址,每个链接都等待两秒,对于几百上千的图片量就有些长了。
_Originally posted by @caolvchong-top in https://github.com/caolvchong-top/twitter_download/issues/25#issuecomment-1910536791_
例如:修改之前,设置并发数为1,实际的并发数量不是只有1个。在一个链接下载出现错误时,会紧接着开始并发下一个链接,可能会导致同样的下载失败。起码在我下载过程中,遇到了下载失败时,必须等待2s才能开始并发的情况。 因此,当前链接下载失败,进行下一个链接下载的情况时,要有并发等待时间,才能下载成功。
可以提供一下配置文件和截图之类的吗,我想复现一下。
或者我可以把异步改为可选项,直接正常单线程下
以上截图,是将并发数设置为1的情况下,仍在1S内有多次并发。
已更新,异步可以直接关闭
photo_lst 中存放的是某页(20-100条推文)中的全部 图片/视频 的源地址,每个链接都等待两秒,对于几百上千的图片量就有些长了。
_Originally posted by @caolvchong-top in https://github.com/caolvchong-top/twitter_download/issues/25#issuecomment-1910536791_
例如:修改之前,设置并发数为1,实际的并发数量不是只有1个。在一个链接下载出现错误时,会紧接着开始并发下一个链接,可能会导致同样的下载失败。起码在我下载过程中,遇到了下载失败时,必须等待2s才能开始并发的情况。 因此,当前链接下载失败,进行下一个链接下载的情况时,要有并发等待时间,才能下载成功。