search

SpiderClub / haipproxy

:sparkling_heart: High available distributed ip proxy pool, powerd by Scrapy and Redis
https://spiderclub.github.io/haipproxy/
MIT License
5.43k stars 914 forks source link

squid作为客户端时是否可以采用贪婪模式？ #83

Open SylvanasSun opened 5 years ago

SylvanasSun commented 5 years ago

由于使用selenium来访问页面，所以不便于动态切换代理ip，故使用squid作为代理池客户端，但是发现squid很少会使用到分数最高的那些代理ip，而是会选取分数在中游的IP(大部分都在5~7分这个范围，但我看了validated队列里明明有10分甚至20分的ip却未被取到过)，这就导致了在代理池正在校验期间（validated队列中暂存了很多待校验ip，但目标网站会屏蔽所有国外ip，在校验任务未完全完成时就会取到国外ip并被拒绝访问）进行请求的质量会很差，所以有没有办法将选择ip的算法切换到贪婪模式呢？

ResolveWang commented 5 years ago

squid好像只能轮询和基于权重的轮询