NaiboWang / EasySpider

A visual no-code/code-free web crawler/spider易采集:一个可视化浏览器自动化测试/数据采集/爬虫软件,可以无代码图形化的设计和执行爬虫任务。别名:ServiceWrapper面向Web应用的智能化服务封装系统。
https://www.easyspider.net
Other
29.28k stars 3.44k forks source link

对于单点登录的网站如何设计 #427

Open snoopytl opened 3 weeks ago

snoopytl commented 3 weeks ago

我这边有个需求就是想抓取页面是一个通过单点登录网站A中的链接B下面的一个页面,具体该如何设计,按照教程第一步是填写网址,我填写了B下面的那个页面,可显示是错误,这个很好理解,因为这时还没登录A,其中的cookie或者session无法拿到,我想通过提前访问的方式保存cookie,可新的页面中无法录入信息,只有让我选择的提示,把采集器关闭,浏览器也跟着关闭了,我也尝试了关闭采集器的情况下,直接打开内置的chrome,来访问,然后再打开采集器,访问B,但依旧不行。

B这个页面能访问的前提是,你得在A上登录过,通过A的链接访问过B后,在一定的时长内,可以直接访问B的页面