search

TempleLv / 91porn_spider

91视频网站爬虫工具，可以批量或单独爬取视频。 不带参数运行程序时，进入日常爬取模式，固定每天8点爬取24小时内发布的30个评分最高的视频，评分由关键字、视频时长、作者分三项评分组成(score下的两个txt定义了关键词评分和作者评分，分数范围[-∞，100])。每周六9点会爬取本周评分最高的30个最热视频并把当周的视频整理到一个文件夹下。程序有去重机制不会重复下载同一个视频。
202 stars 36 forks source link

报错：* DlAddr not set #5

Open ShujunZhao opened 3 years ago

ShujunZhao commented 3 years ago

采用第一种方式： context deadline exceeded 采用第二种方式报错如下： DlAddr not set! context deadline exceeded [原创] DlAddr not set! context deadline exceeded

TempleLv commented 3 years ago

应该是访问91的ip已经用完了当日的15次，我是通过openwrt里的passwall建立多个代理解决这个问题的。。还有每天北京时间的8点是91刷新的时间。

TempleLv commented 3 years ago

cookie 没研究过，release里面是老的，前段时间91刚加了反扒，稍后我更新一下release吧。

jw-star commented 2 years ago

应该是访问91的ip已经用完了当日的15次，我是通过openwrt里的passwall建立多个代理解决这个问题的。。还有每天北京时间的8点是91刷新的时间。

随机ip就可以解决15次的限制吧，我一天24条，全用一个ip爬的