search

code4craft / webmagic

A scalable web crawler framework for Java.
http://webmagic.io/
Apache License 2.0
11.42k stars 4.18k forks source link

希望作者可以将doCycleRetry改成protect访问级别 #1145

Open hackeryutu opened 9 months ago

hackeryutu commented 9 months ago

希望作者可以将doCycleRetry改成protect访问级别，外部可以重写这个方法改变行为。

比如重试三次之后还是失败就没然后了， 我想通过改写这个方法做一些通知

sutra commented 9 months ago

在 us.codecraft.webmagic.SpiderListener.onError(Request, Exception) 读取request.getExtra(Request.CYCLE_TRIED_TIMES),如果次数等于 site.getCycleRetryTimes()就发通知。

hackeryutu commented 9 months ago

我看的是0.10.0的代码，只有在page.isDownloadSuccess()是false的情况下才会走重试逻辑，不会走到onError中而是走到onSuccess中。 我感觉哪里怪怪的，isDownloadSuccess如果是false 不应该走onError方法吗？