caolvchong-top / twitter_download

推特 图片 视频 爬虫;一键下载
330 stars 38 forks source link

好难搞,还是没打开 #22

Closed gewuagewua closed 7 months ago

gewuagewua commented 8 months ago

作者有空搞个一键傻瓜式的吗

caolvchong-top commented 8 months ago

你可以把遇到的问题描述一下,截个图,我看看能不能解决

一键式比较麻烦,因为最终还得手动获取cookie、修改配置文件

gewuagewua commented 8 months ago

你可以把遇到的问题描述一下,截个图,我看看能不能解决

一键式比较麻烦,因为最终还得手动获取cookie、修改配置文件

你看看我这是咋回事啊,感谢大佬

81f5ea5fdbe9374c.png 765f676e3c65fbba.png
caolvchong-top commented 8 months ago

"cookie" : "auth_token=xxxxxxx;ct0=xxxxxxxxx;" 按照这个格式,除了最外面那一层的双引号,其他的双引号都去掉

68747470733a2f2f696d672e63686b616a612e636f6d2f383166356561356664626539333734632e706e67

gewuagewua commented 8 months ago

"cookie":"auth_token=xxxxxxxx;ct0=xxxxxxxxxx;" 按照这个格式,除了最外面那一层的双引号,其他的双引号都去掉

68747470733a2f2f696d672e63686b616a612e636f6d2f383166356561356664626539333734632e706e67

引号去掉了,但还是报错

681e4559dc22f2bf.png
caolvchong-top commented 8 months ago

检查一下末尾的分号是否是 英文半角 符号

68747470733a2f2f696d672e63686b616a612e636f6d2f363831653435353964633232663262662e706e67

gewuagewua commented 8 months ago

检查一下末尾的分号是否是 英文半角 符号

68747470733a2f2f696d672e63686b616a612e636f6d2f363831653435353964633232663262662e706e67

成功下载了,感谢大佬

gewuagewua commented 8 months ago

哈哈,真不戳啊真不戳

gewuagewua commented 8 months ago

检查一下末尾的分号是否是 英文半角 符号

我下了600多应该到上限了吧。请问有暂停吗,我要是退出去第二天再会不会重复下载呢

3cd236ee9384c8b7.png

caolvchong-top commented 8 months ago

这个是网不好,或者文件太大,超时时间内没能下载完成

API上限会提示 Rate limit exceeded 然后自动退出程序

第二次运行时会重复下载之前的内容,因为推特的分页设计,下一页的地址包含在前一页的response中

gewuagewua commented 8 months ago

这个是网不好,或者文件太大,超时时间内没能下载完成

API上限会提示 Rate limit exceeded 然后自动退出程序

第二次运行时会重复下载之前的内容,因为推特的分页设计,下一页的地址包含在前一页的response中

文件应该不是很大,大部分都是图片和短视频。我复制下载失败链接自己可以打开,这要怎么解决呢。

caolvchong-top commented 8 months ago

我没设置httpx的最大并发限制,过多请求把网络资源吃满导致超时,明天更新适配,这个问题会一并修复

临时解决方案:不用管,放着让它下就行

gewuagewua commented 8 months ago

我没设置httpx的最大并发限制,过多请求把网络资源吃满导致超时,明天更新适配,这个问题会一并修复

临时解决方案:不用管,放着让它下就行

感谢大佬,但现在有个新问题,我改了那个抓取时间之后报错,我想让他按时间顺序接着下来着 我看了原推,这个时间范围是有图片的

005b7120a359ca3c.png bcedb615a9c86845.png da7c7ebfa286c70d.png
caolvchong-top commented 8 months ago

是个bug,问题已经定位,明天一并修复

临时解决方案: 在文件main.py中的220行至221行之间加入以下内容: _user_info.count += 1

image