在抓取每个站点代理时，使用了python中的字典进行存储，在多线程的爬取情况下，是安全的吗

jhao104 / proxy_pool

Python ProxyPool for web spider

https://jhao104.github.io/proxy_pool/

MIT License

20.85k stars 5.05k forks source link

Open Driverssss opened 7 months ago

Driverssss commented 7 months ago

在抓取每个站点代理时，使用了python中的字典进行存储，在多线程的爬取情况下，是安全的吗

MaxBill commented 3 months ago

没啥问题，重复了会覆盖，反正都是同一个

Euclid-Jie commented 3 months ago

在抓取每个站点代理时，使用了python中的字典进行存储，在多线程的爬取情况下，是安全的吗

我使用下来没什么问题