search

MiningCattiva / x-spider

A spider for X (Twitter)
https://miningcattiva.github.io/x-spider/
GNU General Public License v3.0
1k stars 70 forks source link

任务创建之后已发送为0 #33

Closed zhonghong78 closed 6 months ago

zhonghong78 commented 6 months ago

检查清单

问题描述

当我生成一个任务之后，已发送为0 复现步骤

  1. image

  2. image

  3. image

期望行为

其他信息

zhost001 commented 6 months ago

我用2.1也这样了,没法下载了

InMirrors commented 6 months ago

多半是 %CONTENT% 这个标签的锅

zhonghong78 commented 6 months ago

@InMirrors 好像是这样，把%CONTENT% 这个标签放开确实可以下。 但是就想问问作者大大是什么原因，是CONTENT超长，还是因为里面有特殊字符，在输出的时候卡住，可不可以解决

InMirrors commented 6 months ago

@InMirrors 好像是这样，把%CONTENT% 这个标签放开确实可以下。 但是就想问问作者大大是什么原因，是CONTENT超长，还是因为里面有特殊字符，在输出的时候卡住，可不可以解决

根据我的测试，貌似和长度字符这些无关。设置得很长的话每次测试都不行；短一些的话偶尔不行，不过只能下载几十个帖子的；用默认长度的效果和短长度的效果一样。

如果发生了不能下载或者下载了几十个帖子后不动了的情况，就算去掉这个标签也不能下，要重启软件才能恢复正常。

下载单张图片倒是没遇到过异常。

zhost001 commented 6 months ago

根据我的测试,和标签没关系，我重启软件，重启电脑和网络都不行，是某些x的原因，我今天下别的x好好的，我又去测试卡住的x,我下载cdooys1这个x到一定数量就卡住，然后软件就什么不正常了，其他的x就已发送变成0没法下了，不过这次我重启软件又能下别的x了

eqqssbbqbb commented 6 months ago

我用的时候也有类似的问题，某些用户的明明查到还有几百个媒体没下，而且大多是比较久以前的（大概在2017~2022年的左右），一点下载就直接下载完毕，仿佛是根本没检测到有文件一样，但是软件明明识别出来了（用下载好的文件数目和主页检测到的媒体数目对比出来的，且经过浏览器上X验证，确实是缺），有一些用户的就没有这种问题（即便是2017年左右），不知能修么

MoyuScript commented 6 months ago

尝试一下：https://github.com/MiningCattiva/x-spider/releases/tag/v2.1.1-0

zhonghong78 commented 6 months ago

尝试一下：https://github.com/MiningCattiva/x-spider/releases/tag/v2.1.1-0

尝试了一下，这个版本任务下载不了东西 image

MoyuScript commented 6 months ago

无法复现，重启电脑后再试试

MoyuScript commented 6 months ago

尝试一下：https://github.com/MiningCattiva/x-spider/releases/tag/v2.1.2-1 看有没有解决，没有的话上传一下日志

zhonghong78 commented 6 months ago

尝试一下：https://github.com/MiningCattiva/x-spider/releases/tag/v2.1.2-1 看有没有解决，没有的话上传一下日志

可以了，作者大大

KIZUNASORA commented 6 months ago

尝试一下：https://github.com/MiningCattiva/x-spider/releases/tag/v2.1.2-1 看有没有解决，没有的话上传一下日志

这个版本还是没办法全部下载，一直显示共1个任务创建中 2024-04-16 012908.log 2024-04-16 012944.log 2024-04-16 013109.log

InMirrors commented 6 months ago

就我的下载而言，新版基本解决了这个问题。说“基本”是因为当推文内容长度设得长一点时，比如说80，还是有问题，只是出现的时间推后了，能下载到更多内容了。改成50后就好了，能获取到去掉这个标签时的数量。

对于内容上千的账号，最终还是停止发送但不结束任务，去掉标签也是如此。这是遇到接口的限制时该有的行为吗？

MoyuScript commented 6 months ago

新增了请求重试机制，现在应该会比之前稳定一些了：https://github.com/MiningCattiva/x-spider/releases/tag/v2.1.2-2

InMirrors commented 6 months ago

试了一下2.1.2-2，推文长度设置为80时还是在差不多的地方卡住，停止发送。要是这个问题难修复的话，加个“推文内容太长可能导致爬取失败”的提示算了。就我下载的几个账号而言，设置为50时没问题，50字也能大概知道推文要说什么了。

MoyuScript commented 6 months ago

试了一下2.1.2-2，推文长度设置为80时还是在差不多的地方卡住，停止发送。要是这个问题难修复的话，加个“推文内容太长可能导致爬取失败”的提示算了。就我下载的几个账号而言，设置为50时没问题，50字也能大概知道推文要说什么了。

日志发一下

InMirrors commented 6 months ago

试了一下2.1.2-2，推文长度设置为80时还是在差不多的地方卡住，停止发送。要是这个问题难修复的话，加个“推文内容太长可能导致爬取失败”的提示算了。就我下载的几个账号而言，设置为50时没问题，50字也能大概知道推文要说什么了。

日志发一下

2024-04-16 230945.log

日志中的用的推文长度为80，发送322个就停止发送。之前设置成50后能发送一千多个。

MoyuScript commented 6 months ago

试了一下2.1.2-2，推文长度设置为80时还是在差不多的地方卡住，停止发送。要是这个问题难修复的话，加个“推文内容太长可能导致爬取失败”的提示算了。就我下载的几个账号而言，设置为50时没问题，50字也能大概知道推文要说什么了。

日志发一下

2024-04-16 230945.log

日志中的用的推文长度为80，发送322个就停止发送。之前设置成50后能发送一千多个。

还是字符截断的问题，有特殊字符就容易出问题

MoyuScript commented 6 months ago

https://github.com/MiningCattiva/x-spider/actions/runs/8709282485

等发完可以再试一下 cc @KIZUNASORA

KIZUNASORA commented 6 months ago

新增了请求重试机制，现在应该会比之前稳定一些了：https://github.com/MiningCattiva/x-spider/releases/tag/v2.1.2-2

v2.1.2-2版本终于能在我的电脑上正常下载使用了！！好激动，很快速很赞的软件！就是每次下载的时候都会弹出来这个弹窗请问提示是什么意思呢？（好像这个弹窗并不会影响到下载） ![Uploading 7c8c49b84720391d6bb43e3a07509858.png…]()

KIZUNASORA commented 6 months ago

会显示这样的弹窗：爬虫任务运行失败：TypeError：Cannot read properties of undefined（reading'createdAt'） 7c8c49b84720391d6bb43e3a07509858

MoyuScript commented 6 months ago

会显示这样的弹窗：爬虫任务运行失败：TypeError：Cannot read properties of undefined（reading'createdAt'） 7c8c49b84720391d6bb43e3a07509858

先更新到最新试试，不行再上传日志

InMirrors commented 6 months ago

2.1.2-5 能正常爬取了，暂时没发现有问题