search

NaiboWang / EasySpider

A visual no-code/code-free web crawler/spider易采集：一个可视化浏览器自动化测试/数据采集/爬虫软件，可以无代码图形化的设计和执行爬虫任务。别名：ServiceWrapper面向Web应用的智能化服务封装系统。
https://www.easyspider.net
Other
30.37k stars 3.58k forks source link

强烈建议换底层，不需要对强反爬花太多精力 #373

Open weibocy opened 2 months ago

weibocy commented 2 months ago

建议换成这个底层，https://github.com/g1879/DrissionPage 对强反爬进行了处理，通过率极高。

weibocy commented 2 months ago

如果DP这个项目不合适，也可以参考playwright过https://bot.sannysoft.com/ 的具体方案参考这个插件，https://github.com/berstend/puppeteer-extra/tree/master/packages/puppeteer-extra-plugin-stealth#readme

weibocy commented 2 months ago

我也可以参与开发，专做反爬这块

NaiboWang commented 2 months ago

非常好的建议，我很早之前就想换底层，但是苦于没有时间，现在做科研忙着博士毕业太忙了，将来如果有时间应该会做这件事情，但是短时间内确实没有精力，如果大家有兴趣可以一起参与进来。

touero commented 2 months ago

drissionpage的底层是cdp(chrome devtools protocol)，与debug的chrome通讯传递json就能实现，在selenium中也有直接执行cdp的方式