caolvchong-top / twitter_download

推特 图片 视频 爬虫;一键下载
330 stars 38 forks source link

关于LIKES时间线问题 #24

Closed VVanderBill closed 7 months ago

VVanderBill commented 7 months ago

您好! 借用您的工具对其他账号的媒体进行备份一切正常。

冒昧向您提起一个需求。 因为我是从事美术类的工作,所以会对大量的其他人发布的推进行like操作。 以作为素材存放在自己的likes时间线中,之前一直使用外部第三方工具,对自己的likes时间线进行爬取。 以便下载媒体到本地进行整理。 2023年twitter更新了API政策后,外部工具宣布停止运营了,所以我无法备份自己的likes时间线中的媒体到本地。 在研读您的代码后,发现您已经开发对于媒体、亮点等时间线的爬取功能,同时在无措之际,有看到自己tw的likes时间线的API前面部分为: https://twitter.com/i/api/graphql/-fbTO1rKPa3nO6-XIRgEFQ/Likes?variables= 似乎与您代码中描述的其他时间线的区别在于variables前面的likes上。 因为我不懂编码,所以一些拙见让您见笑了。

如果可以的话,希望您开发:对于自己的twitter账号的likes时间线进行爬取备份的功能。

同时,因为艺术工作者日常积累素材,likes的数量很多时候有大几万,所以还有需要向您请教的是: 如果每日API调用次数是1000次,每次调用会返回20个推文。那么每日总计能返回的推文数量就是2W。 如果我有3W条推文需要爬取。第一天爬取了1~20000号推文。 那是否能在第二天恢复API调用次数后,从20001号推文开始爬取,直到3W号推文全部爬取完成呢?

感谢您的分享 顺祝商祺

caolvchong-top commented 7 months ago

很高兴能帮到你,我尽可能在今明两天更新。

经测试likes的API最大可以返回100条推文,应该能满足五到八万的数据获取。

如果你的数据量大于这个数字,可以随时告诉我,我会尝试加入 继承前一次进度 的选项。

caolvchong-top commented 7 months ago

已更新适配

VVanderBill commented 7 months ago

感谢您! 仅代表我个人和工作室小伙伴,以熬夜肝稿掉落的毛发为祭品, 向您表达衷心的感谢! 愿码神保佑您不掉头发! 码门🙏 Orz