search

platonai / exotic-amazon

A complete solution to crawl amazon at scale completely and accurately.
143 stars 46 forks source link

Failed to create chrome devtools driver #32

Open ws4435700 opened 1 year ago

ws4435700 commented 1 year ago

你好，今天运行代码，发现之前可运行的代码现在都报了Failed to create chrome devtools driver 这个错误，程序无法启动chrome进行拉取，以下为日志记录 21:49:40.923 [r-worker-2] WARN a.p.p.p.b.e.context.WebDriverContext - 3. Retry task 1 in crawl scope | caused by: [Unexpected] Failed to create chrome devtools driver 21:49:41.057 [r-worker-2] INFO a.p.p.c.component.LoadComponent.Task - 3. 💔 🔃 U for RT got 1601 0 <- 0 in 0s, last fetched 9m2s ago, fc:6/6 Retry(1601) rsp: CRAWL | 14NxFs61 | py | file://C:\Users\ADMINI~1\AppData\Local\Temp\ln\24a39877cfadb168ae1aa12f292bf663.htm | https://www.jjwxc.net/onebook.php?novelid=4076905&chapterid=1 -expires PT2400H -ignoreFailure -label py -parse -requireSize 300 -scrollCount 15 -scrollInterval PT2S

但是我在下载最新版本的代码后，没有这个错误，程序能正常运行，想请问您是否知道这个错误原因

platonai commented 1 year ago

如果是偶尔出现，是正常情况，重新采集即可，系统提供了默认的重试机制。

如果所有链接都失败，所有 chrome 都创建失败，才说明有 bug。

platonai commented 1 year ago

不知道报错的是哪个版本，之前的版本也的确有不支持 chrome 111+ 的情况。前面有 issue 跟踪这个问题，并在 pulsar-1.10.11, exotic-amazon-main 中修复了。

相关 issue: https://github.com/platonai/exotic-amazon/issues/14

ws4435700 commented 1 year ago

谢谢