mengzonefire / twitter-media-downloader

用于提取推特页面中包含的媒体文件 (支持文本, 图片, 视频, 动图) 的脚本
356 stars 19 forks source link

使用高级搜索功能@&advanced= "test"爬取报错 #50

Open lucifere02 opened 1 year ago

lucifere02 commented 1 year ago

按照教程把twitter高级搜索的搜索框内容复制到@&advanced=的后面,但是如果想要搜索精确短语(见下图) image ,就会报错如下内容: 请输入: @&advanced= "test"

正在提取: @&advanced= "test" Exception in thread Thread-1 (getDataList): Traceback (most recent call last): File "threading.py", line 1038, in _bootstrap_inner File "threading.py", line 975, in run File "task\searchTask.py", line 36, in getDataList File "json__init__.py", line 346, in loads File "json\decoder.py", line 337, in decode File "json\decoder.py", line 353, in raw_decode json.decoder.JSONDecodeError: Expecting ',' delimiter: line 1 column 827 (char 826) 请问开发大佬这是什么问题。

lucifere02 commented 1 year ago

如果是“所有这些词语”的高级搜索(如图), image 能够正常开始抓取,但是抓取一段时间后会报错,以下是第二次尝试的结果: 请输入: @&advanced=test

正在提取: @&advanced=test 超过30秒未从任务队列中获取到数据 ] [0/150] 38.8s / 超过30秒未从任务队列中获取到数据 ] [0/177] 42.2s \ 超过30秒未从任务队列中获取到数据 ] [0/245] 50.3s \ 提取失败SearchTask.getDataList: http访问异常, 状态码: 500 -> 请前往issue页反馈: https://github.com/mengzonefire/twitter-media-downloader/issues 文件下载任务已完成 233/730, 用时 117.3s, 保存路径: twitter_media_download