search

caolvchong-top / twitter_download

推特 图片 视频 爬虫;一键下载
330 stars 38 forks source link

请问作者关于推特爬不完整是怎么回事呢？ #12

Closed haozhen696 closed 10 months ago

haozhen696 commented 10 months ago
屏幕截图 2023-10-15 223206 屏幕截图 2023-10-15 223216

无法完整爬取整个用户的推特内容，是需要调整哪里的参数吗？麻烦了

caolvchong-top commented 10 months ago

请尽可能描述一下以下信息：

haozhen696 commented 10 months ago

请问题描述以下信息：

  • 目标用户
  • 非隐私配置文件截图
  • 预期结果与实际结果
  • 其他有可能影响结果的补充内容

用户：tadai_mahiro

配置文件：

屏幕截图 2023-10-16 102421

预期爬取整个推特用户的图片但只爬取到2022年7月份的图片就结束了

我把时间也为空测试了，不会影响结果

caolvchong-top commented 10 months ago

我这边没能复现你的问题，测试时可以正常下载21-06-01至23-07-01时间区间内的内容。 Screenshot_2023-10-16-13-57-13-672_com.sonelli.juicessh.jpg

IMG_20231016_140022.jpg

是否API次数耗尽？或者有其他影响因素？

haozhen696 commented 10 months ago

我这边没能复现你的问题，测试时可以正常下载21-06-01至23-07-01时间区间内的内容。 Screenshot_2023-10-16-13-57-13-672_com.sonelli.juicessh.jpg

IMG_20231016_140022.jpg

是否API次数耗尽？或者有其他影响因素？

谢谢大佬答复，好的，那我重新clone项目并更换了代理，重新跑了一下看看还是无法爬取某个用户的全部内容，我举例的这个用户最多获取2020年6月的图片，无法再获取之前的推文和图片，大佬可以时间往前推移再运行看看能否复现我的问题，麻烦了

caolvchong-top commented 10 months ago

找到问题了，对于 媒体(不包含转推) 的选项来说，20-07-07已经到底了

image

配置文件中 [包含转推] 选项调用的是图中的 1， [不包含转推] 调用的是 2

看起来 媒体 这个API有时间或是帖子数量限制，具体机制还不清楚

image

可以试试 包含转推 选项，但我估计普通用户一天的API调用次数不够爬到那个时间区域

haozhen696 commented 10 months ago

找到问题了，对于媒体(不包含转推)的选项来说，20-07-07已经到底了

图像

配置文件中[包含转推]选项调用的是的话1，[不包含转推]调用的是2

看起来媒体这个API有时间或者帖子数量限制，具体机制还是狮子

图像

可以尝试包含转推选项，但我估计普通用户一天的 API 调用次数不足以爬到那个时间区域

好的，谢谢大佬答复