search

Boris-code / feapder

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单，功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度
http://feapder.com
Other
2.95k stars 480 forks source link

浏览器渲染 - feapder-document #85

Open Boris-code opened 3 years ago

Boris-code commented 3 years ago

https://boris.org.cn/feapder/#/source_code/%E6%B5%8F%E8%A7%88%E5%99%A8%E6%B8%B2%E6%9F%93

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

TheEros commented 3 years ago

我这边获取页面数据是通过调用后台接口的方式拿到数据，现在有两个问题: 1.每个账户的cookie,去get 请求后台接口获取返回值，怎么在代码里循环cookie请求数据？ 2.每次请求会获取到新的set cookie怎么拿到？

ybw-github commented 3 years ago

浏览器渲染的时候, 怎么使用selenium库中的那些By, WebDriverWait, EC之类的操作呢?

li735245459 commented 3 years ago

浏览器可以被成功渲染，但是无法加载start_requests方法中yield的url，打了断点无法进入parse回调函数

cshmzin commented 3 years ago

自带的ChromeDriver 只支持Chrome 85

essage: session not created: This version of ChromeDriver only supports Chrome version 85 但是我是用的是Chrome version 95，请问怎么修改ChromeDriver