search

raawaa / jav-scrapy

批量抓取AV磁链或封面的苦劳力
1.04k stars 211 forks source link

不知道爬虫能不能解决100页以上404的问题？ #34

Open erikaemma opened 6 years ago

Eaken commented 6 years ago

爬得太快太多了，你的ip被人家锁了

erikaemma commented 6 years ago

@Eaken 不是爬虫，我浏览器随意打开一个100页200 OK的，点击下一页，400了

raawaa commented 6 years ago

我这里用浏览器打开100以后的页面都没问题啊。

raawaa commented 6 years ago

顺便一提：这个项目所爬的javbus站，有磁链的影片只到56页（2018-08-08）。“所有影片”能到100以后。