search

xuncv / 91porn-spider

golang版的91porn爬虫
15 stars 5 forks source link

爬虫在白天不能正常工作 #6

Open xiaojunjunya opened 4 years ago

xiaojunjunya commented 4 years ago

亲测在晚上20:00到次日凌晨是可以正常工作的

但是白天就罢工了。。。

xuncv commented 4 years ago

亲测在晚上20:00到次日凌晨是可以正常工作的

但是白天就罢工了。。。

91改规则了，伪造ip无法绕过观看限制了，一天只能下载25个

xiaojunjunya commented 4 years ago

亲测在晚上20:00到次日凌晨是可以正常工作的 但是白天就罢工了。。。

91改规则了，伪造ip无法绕过观看限制了，一天只能下载25个

我正在用你的golang爬虫的，每天可以爬下来2000个到3000个左右，直接从原始站点套了个代理爬的。但是爬虫只在晚上20:00到2:00工作。

不是25个哦

xuncv commented 4 years ago

亲测在晚上20:00到次日凌晨是可以正常工作的 但是白天就罢工了。。。

91改规则了，伪造ip无法绕过观看限制了，一天只能下载25个

我正在用你的golang爬虫的，每天可以爬下来2000个到3000个左右，直接从原始站点套了个代理爬的。但是爬虫只在晚上20:00到2:00工作。

不是25个哦

源站套代理？你做了个反向代理吗？

xiaojunjunya commented 4 years ago

亲测在晚上20:00到次日凌晨是可以正常工作的 但是白天就罢工了。。。

91改规则了，伪造ip无法绕过观看限制了，一天只能下载25个

我正在用你的golang爬虫的，每天可以爬下来2000个到3000个左右，直接从原始站点套了个代理爬的。但是爬虫只在晚上20:00到2:00工作。 不是25个哦

源站套代理？你做了个反向代理吗？

今天刚试了下，确实已经不能用了，我最后一个视频是凌晨时候下载到硬盘的。91应该是昨天升级的。 今天直接爬虫罢工了。

xiaojunjunya commented 4 years ago

昨天晚上突然想起来这件事，又试了下，又可以在晚上8:00到次日2:00开始愉快的工作了。昨天大概下了2300个的样子，我只是简单的套了个机场代理，流量和节点都还比较多，爬的原始站点。 这个爬虫是否好部署到crawlab呢？如果可以的话，尽早把他给爬完算了，以后反爬虫只会越来越升级。

xuncv commented 4 years ago

crawlab支持golang的

xiaojunjunya commented 4 years ago

https://github.com/techGay/v9porn/issues/210 这里他们找到了破解的办法，但是不知道是怎么实现的，没猜出来。 我如果用crawlab搞定了，回头送你块硬盘啊嘿嘿。

xuncv commented 4 years ago

techGay/v9porn#210 这里他们找到了破解的办法，但是不知道是怎么实现的，没猜出来。 我如果用crawlab搞定了，回头送你块硬盘啊嘿嘿。

试了一下，晚上8点后果然可以无限下载。 并发数你可以调高点，下载会很快。golang的并发消耗资源很少，可以开很大并发