search

TempleLv / 91porn_spider

91视频网站爬虫工具，可以批量或单独爬取视频。 不带参数运行程序时，进入日常爬取模式，固定每天8点爬取24小时内发布的30个评分最高的视频，评分由关键字、视频时长、作者分三项评分组成(score下的两个txt定义了关键词评分和作者评分，分数范围[-∞，100])。每周六9点会爬取本周评分最高的30个最热视频并把当周的视频整理到一个文件夹下。程序有去重机制不会重复下载同一个视频。
202 stars 36 forks source link

如果使用小火箭shadowsocksR，是不是不用配置代理了 #7

Open risingwen opened 2 years ago

risingwen commented 2 years ago

PS F:\91porn_spider-master> ./spider91 -now 3 -n 100 2021/10/31 02:10:27 Start 3 days Download, count 100!! wrong own value format! [] Crawl http://91porn.com/v.php?next=watch&page=1 context deadline exceeded Crawl http://91porn.com/v.php?next=watch&page=1 page load error net::ERR_PROXY_CONNECTION_FAILED Crawl http://91porn.com/v.php?next=watch&page=1 page load error net::ERR_PROXY_CONNECTION_FAILED Crawl http://91porn.com/v.php?next=watch&page=1 page load error net::ERR_PROXY_CONNECTION_FAILED Crawl http://91porn.com/v.php?next=watch&page=1 page load error net::ERR_PROXY_CONNECTION_FAILED Crawl http://91porn.com/v.php?next=watch&page=1 page load error net::ERR_PROXY_CONNECTION_FAILED

risingwen commented 2 years ago

能不能把动态IP的更换也加入到docker镜像里面