search

cwjokaka / ok_ip_proxy_pool

🍿爬虫代理IP池(proxy pool) python🍟一个还ok的IP代理池
MIT License
251 stars 67 forks source link

看了下爬虫，我自己尝试了下 #4

Closed Cherry-toto closed 5 years ago

Cherry-toto commented 5 years ago

http://www.66ip.cn/ 这个基本都不可用。。。 http://www.goubanjia.com/ 这个他页面做了防爬，看了你的爬虫规则，应该也没有爬对、

cwjokaka commented 5 years ago

有些代理例如西刺的确是能用的没几个，所以可以按口味进行筛选与扩展。 至于http://www.goubanjia.com/这个是已经做过做过处理解析的，实验解析出来的代理地址与页面上最终显示的地址一致，至于能不能用就是另一回事了😓