未处理完当前页影片就开始处理下一页的影片

raawaa commented 8 years ago

当待处理影片小于当前页面影片数时，如果获取磁链或封面时出现网络请求错误，会直接跳过当前页面直接抓取下一页的影片。

例如：jav -l 2，首先会抓取第一页的两部影片，如果其中一部影片抓取出错，会直接结束本页处理，开始抓取下一页的两部影片。

========== 获取资源站点：http://www.javbus.in ==========
并行连接数： 2        连接超时设置： 1 秒
磁链保存位置:  /home/raawaa/magnets.txt
获取第1页中的影片链接 ( http://www.javbus.in )...
正处理以下番号影片...
HIHL-012,INBA-004
===== 第1页处理完毕 =====

获取第2页中的影片链接 ( http://www.javbus.in/page/2 )...
正处理以下番号影片...
HVG-021,RABS-015
总进度(1/2): [=========================-------------------------]
===== 第2页处理完毕 =====

获取第3页中的影片链接 ( http://www.javbus.in/page/3 )...
正处理以下番号影片...
RBD-724,RBD-721
总进度(2/2): [==================================================]
已抓取2个磁链，本次抓取完毕，等待其他爬虫回家...

导致了许多影片没有被抓取，直接被跳过了

raawaa commented 8 years ago

本 issue 源自 pull request #4，期待 @qiusli 的 review。我先另开分支 issue_5 胡乱 fix 一下 :wink:

qiusli commented 8 years ago

I'll fix it this evening, sorry about that

raawaa / jav-scrapy

未处理完当前页影片就开始处理下一页的影片 #5