search

Boris-code / feapder

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单，功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度
http://feapder.com
Other
2.88k stars 476 forks source link

浏览器渲染功能是否可以添加支持drissionpage库？ #252

Open FRzhuizhu opened 4 months ago

FRzhuizhu commented 4 months ago

DrissionPage 是一个基于 python 的网页自动化工具。

它既能控制浏览器，也能收发数据包，还能把两者合而为一。

可兼顾浏览器自动化的便利性和 requests 的高效率。

它功能强大，内置无数人性化设计和便捷功能。

它的语法简洁而优雅，代码量少，对新手友好。

官网：https://drissionpage.cn/ 项目地址：https://github.com/g1879/DrissionPage

bilibilipala commented 4 months ago

之前我就提过这个建议，不过你可以自己先用改写中间件的方法实现，效果一样的，这个框架的拓展性还是很好的

Boris-code commented 4 months ago

可以写下载器，setting里配置下载器就好。

lqqla commented 4 months ago

之前我就提过这个建议，不过你可以自己先用改写中间件的方法实现，效果一样的，这个框架的拓展性还是很好的 帅气的大哥，牛逼的大哥，能不能请教一下该怎么改（手动膜拜大哥）

lqqla commented 4 months ago

可以写下载器，setting里配置下载器就好。

您好，大佬，下载器是指下载中间件吗？如果是的话，下载中间件不是用于在请求之前，对请求做一些处理吗？那怎么用DrissionPage 去获取数据呀

bilibilipala commented 2 months ago

之前我就提过这个建议，不过你可以自己先用改写中间件的方法实现，效果一样的，这个框架的拓展性还是很好的 帅气的大哥，牛逼的大哥，能不能请教一下该怎么改（手动膜拜大哥）

image 就是文档里面写的有，可以自定义下载器