search

jhao104 / proxy_pool

Python ProxyPool for web spider
https://jhao104.github.io/proxy_pool/
MIT License
20.85k stars 5.05k forks source link

请问怎么剔除指定区域的代理，比如爬到的埃及、伊朗等区域就不要写入redis #748

Open rtfghd opened 1 year ago

rtfghd commented 1 year ago

请问怎么剔除指定区域的代理，比如爬到的埃及、伊朗等区域就不要写入redis，直接忽略掉

jhao104 commented 1 year ago

采集的时候 根据区域字段判断下，不需要就不入库