caolvchong-top / twitter_download

推特 图片 视频 爬虫;一键下载
330 stars 38 forks source link

增强下载稳定性 #25

Closed ouy160 closed 7 months ago

ouy160 commented 7 months ago

main.py 310 行:await asyncio.gather(*[asyncio.create_task(down_save(url[0], url[1], url[2], order)) for order,url in enumerate(photo_lst)])

增强稳定性修改: interval = 2 # 并发时间间隔,单位为秒 tasks = [] for order, url in enumerate(photo_lst): task = asyncio.create_task(down_save(url[0], url[1], url[2], order)) tasks.append(task) await asyncio.sleep(interval) await asyncio.gather(*tasks)

caolvchong-top commented 7 months ago

非常感谢您提的建议,但其实在之前的更新中已经添加了对并发的限制,在 main.py 的281行

photo_lst 中存放的是某页(20-100条推文)中的全部 图片/视频 的源地址,每个链接都等待两秒,对于几百上千的图片量就有些长了。