search

jhao104 / proxy_pool

Python ProxyPool for web spider
https://jhao104.github.io/proxy_pool/
MIT License
20.85k stars 5.05k forks source link

[update]:1、更新'freeProxy01'、'freeProxy03'、'freeProxy08'、'freeProxy10'的… #769

Closed chensf1992 closed 7 months ago

chensf1992 commented 9 months ago

…分页解析，使其能获取更多的页面的IP。2、循环时统一延迟10秒，防止触发网站的请求保护。

jhao104 commented 7 months ago

没必要分页的，采集间隔很快，网站更新很慢，第二次采集时第一页都是重复的