希望作者支持一下动态重试？

code4craft / webmagic

A scalable web crawler framework for Java.

http://webmagic.io/

Apache License 2.0

11.37k stars 4.18k forks source link

Open sparrow-ez opened 8 months ago

sparrow-ez commented 8 months ago

因为很多网站现在有限流规则，比如一秒钟请求次数超过5次，就返回500错误或者去其他状态码。能不能改下源码，增加一个重试策略，变成像scrapy一样，第一次隔1秒，第二次2秒第三次5秒...这种递增式动态retry

hooyantsing commented 8 months ago

的确是一个实用的特性

hackeryutu commented 8 months ago

的确是一个实用的特性

hackeryutu commented 7 months ago

希望作者可以将doCycleRetry改成protect访问级别，外部可以重写这个方法改变行为。

比如重试三次之后还是失败就没然后了，我想通过改写这个方法做一些通知