search

caolvchong-top / twitter_download

推特 图片 视频 爬虫;一键下载
330 stars 38 forks source link

文件命名规则 #41

Closed FengZiGG closed 4 months ago

FengZiGG commented 4 months ago

建议以（推特用户操作的）时间开头。

爬取的 retweet 的视频/图片，文件名开头是“retweet”，不能根据时间顺序浏览下载的文件。 （highlights 和 likes 不知道是不是也一样，没来得及测试，api 被限制了）

FengZiGG commented 4 months ago

以及爬取顺序，建议倒过来，从旧的开始爬。 举个例子，漫画推主，今天按时间顺序发了三个图片，分别是 a,b,c，爬取的时候是先爬新的，也就是 c，命名的时候，c 将获得类似于2024-04-08-img_1的编号，b 是2024-04-08-img_2，a 是2024-04-08-img_3，那么下载到本地按名称排序后，浏览顺序会变成 c，b，a。对于看漫画来说，浏览有些不太方便。

caolvchong-top commented 4 months ago

建议以（推特用户操作的）时间开头。

爬取的 retweet 的视频/图片，文件名开头是“retweet”，不能根据时间顺序浏览下载的文件。 （highlights 和 likes 不知道是不是也一样，没来得及测试，api 被限制了）

感谢提醒，我最开始没考虑到排序的问题，把转推标志加在了前面

现在已将 “retweet” 放在时间后，更新即可 ( highlights和likes不会有retweet标签 )

caolvchong-top commented 4 months ago

以及爬取顺序，建议倒过来，从旧的开始爬。 举个例子，漫画推主，今天按时间顺序发了三个图片，分别是 a,b,c，爬取的时候是先爬新的，也就是 c，命名的时候，c 将获得类似于2024-04-08-img_1的编号，b 是2024-04-08-img_2，a 是2024-04-08-img_3，那么下载到本地按名称排序后，浏览顺序会变成 c，b，a。对于看漫画来说，浏览有些不太方便。

顺序问题有些麻烦，因为从推特API上获取的内容就是倒序的，中间因为涉及到下载计数、分页、重复下载之类的问题，直接将列表翻转可能会有很多不知名错误