caolvchong-top / twitter_download

推特 图片 视频 爬虫;一键下载
330 stars 38 forks source link

使用过程中产生的一些问题 #34

Open leewf9 opened 6 months ago

leewf9 commented 6 months ago

我用了两个号测试了一下 大号(注册了七八年的老用户) 小号(刚注册的) 1.填写时间范围+包含转推会有如下错误 34c03ea8e1399beb677dfe1622281dac 一直是已下载0 然后过一会儿说下载完成 2.不填写时间范围+包含转推: Snipaste_2024-02-22_04-56-26 提示Rate limit exceeded 但此时仍可以重新爬取 3.不填写时间范围+不包含转推: Snipaste_2024-02-22_05-29-17 下载一段时间后自动结束 时间范围写的是 d5eac8c4ead864035dbba09bf95938b4 下载到2023年2月就自己结束了

leewf9 commented 6 months ago

我试了几次 都是下载到2023-02-14就自动暂停退出了是为什么?即使把日期范围改成1990-01-01:2023-02-13仍不能下载 显示这个 Snipaste_2024-02-22_06-07-53 大号小号试了都这样 只要是2-14前的都不能下载 Snipaste_2024-02-22_06-11-30 但是我是能正常搜索到该账号2月14之前的内容的 —————————————————————— 我又换了一个人爬 结果依然是2023年2月14日之前的任何内容都爬不到 只能爬这之后的(条件设定的是时间范围+不包含转推) Snipaste_2024-02-22_06-07-53

如果包含转推 则出现 Snipaste_2024-02-22_06-24-53

caolvchong-top commented 6 months ago

image

在 2-14 处有一次空页返回

可能是程序判断尾页的逻辑有问题,下次更新时修复

caolvchong-top commented 5 months ago

关于这个问题,其实是 [媒体] 页获取的推文数有上限,具体数量限制不清楚,所以在2月14的推文处终止,无法继续获取。

image

image

先前也遇到过 https://github.com/caolvchong-top/twitter_download/issues/12#issuecomment-1764950683

erlwm commented 1 month ago

我试了几次 都是下载到2023-02-14就自动暂停退出了是为什么?即使把日期范围改成1990-01-01:2023-02-13仍不能下载 显示这个 Snipaste_2024-02-22_06-07-53 大号小号试了都这样 只要是2-14前的都不能下载 Snipaste_2024-02-22_06-11-30 ,但是我是能正常搜索到该账号2月14日之前的内容的 —————————————————————— 我又换了一个人爬 结果依然是2023年2月14日之前的任何内容都爬不到 只能爬这之后的(条件设定的是时间范围+不包含转推) Snipaste_2024-02-22_06-07-53

如果包含转推 则出现 Snipaste_2024-02-22_06-24-53

作者更新的最新版有个tag_down.py文件 打开修改cookie 把高级搜索的搜索栏内容填到tag,记得不加# 示例:tag = '(from:STAYC_official) until:2023-02-12 since:2023-02-11 -filter:replies' 运行就可以下载当前搜索栏的内容 Screenshot - 2024-08-01 06 31 08 Screenshot - 2024-08-01 06 31 57 Screenshot - 2024-08-01 06 32 14