search

jhao104 / proxy_pool

Python ProxyPool for web spider
https://jhao104.github.io/proxy_pool/
MIT License
21.38k stars 5.16k forks source link

用付费代理，有username:password要求，get不到proxy #725

Closed aldreamlau closed 1 year ago

aldreamlau commented 1 year ago

我的付费代理要求格式这样 image

我在proxyFetcher.py这样添加 image setting 这样加 image 运行proxyPool.py schedule，结果这样 65d4abaed65e723b28abdfe879afb96 rawproxycheck 没看到问题， useproxycheck 没看到我的代理ip

打开 http://127.0.0.1:5010/get?type=https 没有ip

谢谢

jhao104 commented 1 year ago

proxyCheck 日志有没有success的

aldreamlau commented 1 year ago

一直循环输出以下 image image

jhao104 commented 1 year ago

https://github.com/jhao104/proxy_pool/blob/a9760218630472b6740dbbc64b812bc0305f8fee/helper/validator.py#L51-L55

这里有个代理格式的检查，目前没有加需要用户名密码的情况。

按你这种做法 把用户名密码储进去的话，就改这个方法，让他返回True。

另一个做法是 只存ip和端口，在爬虫使用时再加上用户验证信息

aldreamlau commented 1 year ago

如果只存ip和端口，check的时候应该也是过不了的吧，因为没有用户密码验证

跳过格式检查的方式可以了，谢谢