23页和26页都有一个被删除的视频，程序就中断了，能不能让程序容错跳过

linxiaoqi7 commented 5 years ago

23页和26页都有一个被删除的视频，程序就中断了，能不能让程序容错跳过 QQ截图20190903193707

linxiaoqi7 commented 5 years ago

23页遇到中断，我以为是我网络或者91服务器问题，然后从24页从新开始爬了一会又出现这个问题，我然后去查找这个页面，发现视频被删除，但是WEB页面链接还在。能不能让程序中断后自动尝试重新连接，指定次数连接依旧失败后跳过呢

linxiaoqi7 commented 5 years ago

“周末约完整版” 这种情况还是比较频繁的，31页也有，这样一中断，爬取效率降低好多 QQ截图20190903201022 QQ截图20190903201034

linxiaoqi7 commented 5 years ago

感觉还是Aria2那个好，稳定，速度还快

zzjzz9266a commented 5 years ago

你这个是爬哪个列表，能给个稳定重现的例子吗？

zzjzz9266a commented 5 years ago

我更新了一下，做了兼容处理，可以试试

linxiaoqi7 commented 5 years ago

你这个是爬哪个列表，能给个稳定重现的例子吗？

php 91all.php next=watch (最新发布）爬取的WEB页面http://91porn.com/v.php?next=watch 这两个视频是在WEB页面中的，但是点击进去会提示视频被删除，爬虫爬到被删除的视频时就中断了 121212 121

linxiaoqi7 commented 5 years ago

不麻烦的话，有时间话更新下Aria2吧，Aria2,VPS小鸡下载后自动上传删除本地文件很好用

zzjzz9266a commented 5 years ago

不麻烦的话，有时间话更新下Aria2吧，Aria2,VPS小鸡下载后自动上传删除本地文件很好用

‘’下载后自动上传删除本地文件‘’这个功能不是aria2实现的吧，那么master也一样啊

linxiaoqi7 commented 5 years ago

不麻烦的话，有时间话更新下Aria2吧，Aria2,VPS小鸡下载后自动上传删除本地文件很好用

‘’下载后自动上传删除本地文件‘’这个功能不是aria2实现的吧，那么master也一样啊是Aria2脚本实现的，下载一个文件会触发自动上传脚本，被下载的文件就开始上传了。Master下载后能不能也让他也执行一个上传脚本呢，执行Aria2里面那个脚本不知道能行不，Aria2那个上传脚本可以单独下载另外因为VPS通过Rclone和云盘绑定，Rclone功能强大，可以通过一条命令让VPS指定文件夹文件上传到云盘，但是比如文件夹已经下载了10个文件你Rclone执行移动命令后是会移动到云盘，但是新下载的第11个文件就不行了，它不会自动检测文件变动重复执行移动操作，是个一次性命令。 https://p3terx.com/archives/rclone-advanced-user-manual-common-command-parameters.html 我是小白，最近也是在学习爬虫，说些个人知道的，希望大佬在加强下程序功能谢谢！

zzjzz9266a commented 5 years ago

更新以后，在downloader.php文件中把这两行注释打开并修改对应的网盘名称和路径，其中“91porn:/91porn”对应网盘名称和路径

linxiaoqi7 commented 5 years ago

注释打开是在前面加“#”还是删除前面的“//”，另外网盘名称是Rclone里面的名字，那个路径是本地下载路径还是网盘文件夹路径？我反复试了几次没成功 QQ截图20190905125612

zzjzz9266a commented 5 years ago

双斜杠。。网盘名称是rclone里定义的，路径是网盘的

linxiaoqi7 commented 5 years ago

双斜杠。。网盘名称是rclone里定义的，路径是网盘的如果是想上传后删除本地文件，是不是把Rclone参数改成移动就可以了？现在上传还是有问题，问题在上面楼层

zzjzz9266a commented 5 years ago

我看是这个问题https://blog.csdn.net/nksmiles/article/details/7371721 你不是用的vps吗，还用什么windows

zzjzz9266a commented 5 years ago

这会儿没空，晚上吧

zzjzz9266a / 91porn_php

23页和26页都有一个被删除的视频，程序就中断了，能不能让程序容错跳过 #46