platonai / exotic-amazon

A complete solution to crawl amazon at scale completely and accurately.
143 stars 46 forks source link

The proxy is expired (xxx), context reset will be triggered #19

Closed sskmtm closed 1 year ago

sskmtm commented 1 year ago

使用代理的时候,发现了以下错误:

image

我的理解是代理过期了会自动重新获取的吧,不知道为什么一直卡在这个错误

导致:⬆ U for RT got 1601 0 <- 0 in 0s

platonai commented 1 year ago

同一个IP反复出现这个错误吗?

platonai commented 1 year ago

PulsarR-1.9.x 里有这个 bug,以前我们有一个解决方案,在一个定时任务中,定期检查 MultiPrivacyContextManager.activeContexts, 如果有哪个 privacy context 失效,就关闭它。

在 pulsarR-1.10.x 中,对 privacy context 的管理有较大改进,并且修复上述 bug。我们的商用服务正在使用 1.10.x,建议升级到 1.10.x。

同时,我们本周会更新 pulsarR-1.9.x,对该 bug 做一个小修复。

sskmtm commented 1 year ago

pulsarR-1.10.X 对于 exotic-amazon 存在破坏性更新吧

<pulsar.version>1.9.9</pulsar.version> ---> <pulsar.version>1.10.3</pulsar.version>

会发生一系列错误:

image

另外本来想使用 main 分支的代码,但是发生了另外的错误,详见: https://github.com/platonai/exotic-amazon/issues/20

sskmtm commented 1 year ago

同时,我们本周会更新 pulsarR-1.9.x,对该 bug 做一个小修复。

如果这个 bug 在 1.9.x 修复好了,请通知一下,非常感谢。

platonai commented 1 year ago

Exotic-amazon-0.1.x 目前已经将 pulsar 升级到了最新的 1.9.19,可以试试。如果还有其他问题,那么还是建议直接使用 Exotic-amazon-main.