Open YOHN89 opened 2 months ago
需求:需要在抓取数据的请求超时之后,能自动切换到一个新的代理ip,因为在我们的场景下,代理ip是有时效的,存活大概就2~3分钟左右。看了很多文档和问题,推荐的做法是自定义一个proxyProvider来实现动态切换代理。 问题:我在proxyProvider里怎么才能能知道上次的请求已经超时了呢?
returnProxy 的入参有 Page 和 Task,可以获得上次请求的情况: us.codecraft.webmagic.proxy.ProxyProvider.returnProxy(Proxy, Page, Task)
us.codecraft.webmagic.proxy.ProxyProvider.returnProxy(Proxy, Page, Task)
需求:需要在抓取数据的请求超时之后,能自动切换到一个新的代理ip,因为在我们的场景下,代理ip是有时效的,存活大概就2~3分钟左右。看了很多文档和问题,推荐的做法是自定义一个proxyProvider来实现动态切换代理。 问题:我在proxyProvider里怎么才能能知道上次的请求已经超时了呢?