sk1418 / zhuaxia

download mp3 files/albums from xiami.com and music.163.com
Other
410 stars 83 forks source link

有的文件下载不动了也占用线程 #11

Closed jpfree closed 9 years ago

jpfree commented 9 years ago

有的文件下载不动了也占用线程,当设置的7线程都满了后就下 ![Uploading A下载线程.jpg . . .]() 不动了,还有不能续传,断了就要重复下

sk1418 commented 9 years ago
jpfree commented 9 years ago

就是下载一段时间后就不能下了,一直闪,但是进度一点都不变,和网速没多大关系,我在自己机器上测试的,没外网的。一直卡某个地方了,有时是卡在几首,有时是几百首的位置,以下是LOG:http://pan.baidu.com/s/1pl0lw

sk1418 commented 9 years ago

谢谢你使用zhuaxia, 你给我的文本还是没办法让我reproduce你的问题。 请告诉我 1 你用的哪个版本的zhuaxia 2 在下载哪个链接时出的问题(歌的链接?或者专辑的链接等), 你现在自己本地试下,发给我能reproduce的链接。我看你的那个文件里有错误信息,应该能找到具体哪个歌,哪个专辑,我可以看下为什么会有那个错误。 3 在你配置文件(zhuaxia.conf)里可以设置log.level.file=DEBUG, 然后解析的链接就会写在zhuaxia.log里。

还有我看你一次下载3000多首歌,我不知道163那边是不是有什么机制,会不会你一个ip流量太大就屏蔽一段时间。当然这只是猜想。

jpfree commented 9 years ago

1,用的目前最新版的。 2,歌的链接我白天查了,单独下的话正常下载的。 3,调了。

我做了一个端口映射,SSH连接地址在 http://pan.baidu.com/s/1hq6AmeK 一般晚上机器开启。 脚本在/home/zhang/zhuaxia/这个目录下 123.txt有下载的链接,大概3000多首吧。 如Little Buddha这首歌就一直47.5%不动了

sk1418 commented 9 years ago

@jpfree 如果单首正常,批量就不行很可能是人家服务器有限制,需要过一段时间才能继续下载。 我昨天调试xiami的用户收藏解析歌曲的时候也发现这个问题, 大概连续50个请求过去就不返回数据了。 过10分钟再试失败的链接都ok了。 还没具体研究怎么解决。

sk1418 commented 9 years ago

@jpfree 对于被ban的情况, 我加入了一个-p选项。请用bleeding branch ver:2.4.0 尝试。因为获取的代理速度,可靠性无法保证,解析和下载的过程可能会慢或不稳定。 详情见帮助文本或bleeding branch的README

jpfree commented 9 years ago

谢谢,这个是直接随机用proxy-list.org的某个IP? 这些代理IP没经过验证,速度和连通都是问题,能不能像之前手工指定代理IP呢?我的意思是把这些代理IP用第三方工具如WIN下的花刺代理,先验证,再自己添加进去。

sk1418 commented 9 years ago

@jpfree 不是随机读取某个ip。 但的确代理没经过验证,连不通应该会被移除。 你可以尝试修改一下这个函数https://github.com/sk1418/zhuaxia/blob/master/zhuaxia/proxypool.py#L80 不去网上抓, 把你的验证好的代理服务器文件读进来就好了,就几行的事