Closed raawaa closed 8 years ago
当待处理影片小于当前页面影片数时,如果获取磁链或封面时出现网络请求错误,会直接跳过当前页面直接抓取下一页的影片。
例如:jav -l 2,首先会抓取第一页的两部影片,如果其中一部影片抓取出错,会直接结束本页处理,开始抓取下一页的两部影片。
jav -l 2
========== 获取资源站点:http://www.javbus.in ========== 并行连接数: 2 连接超时设置: 1 秒 磁链保存位置: /home/raawaa/magnets.txt 获取第1页中的影片链接 ( http://www.javbus.in )... 正处理以下番号影片... HIHL-012,INBA-004 ===== 第1页处理完毕 ===== 获取第2页中的影片链接 ( http://www.javbus.in/page/2 )... 正处理以下番号影片... HVG-021,RABS-015 总进度(1/2): [=========================-------------------------] ===== 第2页处理完毕 ===== 获取第3页中的影片链接 ( http://www.javbus.in/page/3 )... 正处理以下番号影片... RBD-724,RBD-721 总进度(2/2): [==================================================] 已抓取2个磁链,本次抓取完毕,等待其他爬虫回家...
导致了许多影片没有被抓取,直接被跳过了
本 issue 源自 pull request #4,期待 @qiusli 的 review。我先另开分支 issue_5 胡乱 fix 一下 :wink:
issue_5
I'll fix it this evening, sorry about that
当待处理影片小于当前页面影片数时,如果获取磁链或封面时出现网络请求错误,会直接跳过当前页面直接抓取下一页的影片。
例如:
jav -l 2
,首先会抓取第一页的两部影片,如果其中一部影片抓取出错,会直接结束本页处理,开始抓取下一页的两部影片。导致了许多影片没有被抓取,直接被跳过了