search

Jannchie / jannchie.github.io

0 stars 0 forks source link

消息队列与分布式爬虫 | Jannchie's Tech Blog #9

Open Jannchie opened 5 years ago

Jannchie commented 5 years ago

https://jannchie.github.io/2019/02/25/message-queue-and-distributed-crawler/

X-thon commented 4 years ago

其实在“削峰”部分，也可以使用代理池，通过轮换代理发起请求，这样爬虫服务如果一秒发起10个请求，对于API方面而言是10个不同地址发出的请求，不会爆掉；如果API是写死了，每秒只能处理10个任意地址的请求的话，那只能是增加间隔并且轮询了。