Closed qiusli closed 8 years ago
当使用例如(jav -s ipz-634)的指令时,系统会在搜索完成后仍然继续搜索,导致下一次在进入pageExist方法的时候仍然会retry3次,但是因为pageIndex增加了,所以不能搜索到,会返回类似下面的错误:
liqiushi@Qiushi-MacBook-Pro:~/Documents/Github Projects/jav-scrapy$ jav -s ipz-634 ========== 获取资源站点：http://www.javbus.in ========== 并行连接数： 2 连接超时设置： 10 秒 磁链保存位置: /Users/liqiushi/magnets.txt 获取第1页中的影片链接 ( http://www.javbus.in/search/ipz-634 )... 正处理以下番号影片... IPZ-634 [IPZ-634] magnet:?xt=urn:btih:48662692545AD2733F1402C14FBACACE4433FBE9&dn=ipz-634.mp4 ===== 第1页处理完毕 ===== 获取第2页中的影片链接 ( http://www.javbus.in/search/ipz-634/2 )... 已抓取完所有页面, StatusCode: 404 已抓取完所有页面, StatusCode: 404 已抓取完所有页面, StatusCode: 404
当使用例如(jav -s ipz-634)的指令时,系统会在搜索完成后仍然继续搜索,导致下一次在进入pageExist方法的时候仍然会retry3次,但是因为pageIndex增加了,所以不能搜索到,会返回类似下面的错误: