search

jhao104 / proxy_pool

Python ProxyPool for web spider
https://jhao104.github.io/proxy_pool/
MIT License
20.85k stars 5.05k forks source link

扩展代理是等待还是同时进行 #760

Open gengqigood opened 10 months ago

gengqigood commented 10 months ago

想问下，它的代理是同时开始爬取代理IP的吗。如果的写一个扩展，爬取的代理数量在100万左右，那么它下面的后面的扩展代理是等待还是同时进行

jhao104 commented 10 months ago

会按照setting.py里面配置的顺序采集，建议不要一次拿太多代理。因为代理时效性本身不高，程序会不停去拿，保证池子够用就行

gengqigood commented 10 months ago

会按照setting.py里面配置的顺序采集，建议不要一次拿太多代理。因为代理时效性本身不高，程序会连续去拿，保证池子够用就行

谢谢，重新修改扩展代理。