Boris-code / feapder

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单,功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度
http://feapder.com
Other
2.96k stars 481 forks source link

chrome 的渲染遇到一个 js 卡住了整个标签页 #160

Closed pgshow closed 1 year ago

pgshow commented 2 years ago

chrome 的渲染有个问题, selenium + chrome 访问 https://baijiahao.baidu.com/s?id=1739368224007714423 时,浏览器会一直加载一个 js 文件,造成该标签页卡住,然后浏览器就无法响应其他行为(刷新,获取页面源码,访问其他url……),feapder 是否可以加一个参数来禁止加载 js。

如果以上链接失效,请访问以下任意链接: https://baijiahao.baidu.com/s?id=1739304797053642547&wfr=spider&for=pc https://baijiahao.baidu.com/s?id=1739377098661725506&wfr=spider&for=pc https://baijiahao.baidu.com/s?id=1739377692137820326&wfr=spider&for=pc https://baijiahao.baidu.com/s?id=1739377788266450267&wfr=spider&for=pc

lengyehan commented 2 years ago

我也遇到同样的问题了,这个真的头大,虽然selenium 可以屏蔽某个域名加载,但是无法屏蔽某个js,现在开启了代理,屏蔽域名就没用了,唉

Boris-code commented 2 years ago

selenium 本身支持么? 不支持就换playwright吧

pgshow commented 2 years ago

Chrome 的插件可以频闭某特定的 js,支持正则, 但是 feapder 的 selenium 没写关于插件加载的功能。