Closed haozhen696 closed 10 months ago
请尽可能描述一下以下信息:
请问题描述以下信息:
- 目标用户
- 非隐私配置文件截图
- 预期结果与实际结果
- 其他有可能影响结果的补充内容
用户:tadai_mahiro
配置文件:
预期爬取整个推特用户的图片但只爬取到2022年7月份的图片就结束了
我把时间也为空测试了,不会影响结果
我这边没能复现你的问题,测试时可以正常下载21-06-01至23-07-01时间区间内的内容。
是否API次数耗尽?或者有其他影响因素?
我这边没能复现你的问题,测试时可以正常下载21-06-01至23-07-01时间区间内的内容。
是否API次数耗尽?或者有其他影响因素?
谢谢大佬答复,好的,那我重新clone项目并更换了代理,重新跑了一下看看还是无法爬取某个用户的全部内容,我举例的这个用户最多获取2020年6月的图片,无法再获取之前的推文和图片,大佬可以时间往前推移再运行看看能否复现我的问题,麻烦了
找到问题了,对于 媒体(不包含转推) 的选项来说,20-07-07已经到底了
配置文件中 [包含转推] 选项调用的是图中的 1, [不包含转推] 调用的是 2
看起来 媒体 这个API有时间或是帖子数量限制,具体机制还不清楚
可以试试 包含转推 选项,但我估计普通用户一天的API调用次数不够爬到那个时间区域
找到问题了,对于媒体(不包含转推)的选项来说,20-07-07已经到底了
配置文件中[包含转推]选项调用的是的话1,[不包含转推]调用的是2
看起来媒体这个API有时间或者帖子数量限制,具体机制还是狮子
可以尝试包含转推选项,但我估计普通用户一天的 API 调用次数不足以爬到那个时间区域
好的,谢谢大佬答复
无法完整爬取整个用户的推特内容,是需要调整哪里的参数吗?麻烦了