selenium在不使用scrapy的脚本中正常运行, 在scrapy中卡死在请求处

[tsogzark]

Bug 描述 社区版v6.0 latest 普通脚本+selenium+crawlab正常运行selenium, scrapy+selenium+crawlab无法运行selenium的webdriver.get, 进入docker的项目文件夹scrapy+selenium可以正常运行selenium

复现步骤 如下代码, 已经把/dev/shm映射到宿主

        options = webdriver.ChromeOptions()
        options.add_argument("--no-sandbox")
        options.add_argument("--headless")
        options.add_argument('--disable-dev-shm-usage')
        browser = webdriver.Chrome(options=options)
        url = "https://www.fendi.cn/"
        browser.get(url)
        print(len(browser.page_source))
        browser.close()

普通脚本+selenium+crawlab正常运行selenium, scrapy+selenium+crawlab无法运行selenium, 一直卡在browser.get(url) 进入docker的项目文件夹scrapy+selenium可以正常运行selenium

期望结果 scrapy+selenium+crawlab可以正常运行selenium的webdriver.get.

截屏

[tikazyq]

是否可以提供完整代码，去掉敏感信息