WeBankFinTech / Qualitis

Qualitis is a one-stop data quality management platform that supports quality verification, notification, and management for various datasource. It is used to solve various data quality problems caused by data processing. https://github.com/WeBankFinTech/Qualitis
Apache License 2.0
710 stars 304 forks source link

接入Linkis报错,无法查询到规则数据源 #168

Closed zgxsm closed 5 months ago

zgxsm commented 1 year ago

Describe the bug 我的项目-规则数据源配置-集群数据源查询报错:

To Reproduce Steps to reproduce the behavior:

  1. 安装linkis1.3.2(无HDFS部署),qualitis0.9.0
  2. qualitis系统配置新增集群配置:集群名称:DemoCluster 集群类型:LINKIS_BDAP1.0
  3. 创建test项目
  4. test项目添加规则--选择单表校验
  5. 配置规则数据源选择(2)中配置的集群,弹出查询“数据库信息失败”
  6. 后台日志提示linkis接口报错: HTTP://192.168.2.75:9001/api/rest_j/v1/datasource/dbs,数据库表不存在”linkis.dbs 不存在“

Expected behavior A clear and concise description of what you expected to happen.

Screenshots image image

Desktop (please complete the following information):

Smartphone (please complete the following information):

Additional context Add any other context about the problem here.

littlebutte commented 1 year ago

请问解决了嘛,我也遇到了

guanym98k commented 1 year ago

+1 ,也是有这个问题,换到了 1.0.3 版本的Linkis,又报了空指针的错误

littlebutte commented 1 year ago

+1 ,也是有这个问题,换到了 1.0.3 版本的Linkis,又报了空指针的错误

我还是用的1.4.0版本,直接用在linkis管理的数据源,可以了

guanym98k commented 1 year ago

大佬,1.4.0版本的linkis,不用其它特殊配置,然后正常安装就可以吗,这个/api/rest_j/v1/datasource/dbs路径是可以找到的吧

guanym98k commented 1 year ago

+1 ,也是有这个问题,换到了 1.0.3 版本的Linkis,又报了空指针的错误

我还是用的1.4.0版本,直接用在linkis管理的数据源,可以了

大佬,1.4.0版本的linkis,不用其它特殊配置,然后正常安装就可以吗,这个/api/rest_j/v1/datasource/dbs路径是可以找到的吧

littlebutte commented 1 year ago

嗯嗯,没去降linkis的版本,我qualitis用的0.9.2,linkis用的1.4.0,直接忽略/api/rest_j/v1/datasource/dbs报的错,选用数据源中的,因为不适配,要改动下边两个地方: 1:qualitis的ui下的rule.js中,query_list改成queryList,不然qualitis前端不显示可下拉的数据源 2:qualitis的配置文件中,把datasource_connect_param改为data-source-manager/{DATA_SOURCE_ID}/connect-params

guanym98k commented 1 year ago

嗯嗯,没去降linkis的版本,我qualitis用的0.9.2,linkis用的1.4.0,直接忽略/api/rest_j/v1/datasource/dbs报的错,选用数据源中的,因为不适配,要改动下边两个地方: 1:qualitis的ui下的rule.js中,query_list改成queryList,不然qualitis前端不显示可下拉的数据源 2:qualitis的配置文件中,把datasource_connect_param改为data-source-manager/{DATA_SOURCE_ID}/connect-params

大佬,有个问题咨询下,我按照你上边说的可以查mysql数据源了,但是执行任务报超时错,检查Linkis1.4.0版本的6个服务都有正常启动,报错如下: desc: Waiting for engineNode:AMEngineNode{nodeStatus=null, lock='null', serviceInstance=ServiceInstance(linkis-cg-engineconn, ks-jenkins-04:46682), owner='admin'}(8876b001-1212-4891-84e6-9f6c3042add9) initialization TimeoutException, already waiting 657986 ms 你有碰到过吗?

还有Qualitis是必须依赖spark吗,还是搭建hadoop、yarn就可以了

littlebutte commented 1 year ago

没有遇到,你跟下linkis日志,必须依赖spark,我之前也不想依赖spark,没搞成功

guanym98k commented 1 year ago

没有遇到,你跟下linkis日志,必须依赖spark,我之前也不想依赖spark,没搞成功

兄台,你用的scala是哪个版本的,执行spark引擎一直报scala错误,scala升级的到12还是报错,Exception in thread "main" java.lang.NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V

Tangjiafeng commented 5 months ago

嗯嗯,没去降linkis的版本,我qualitis用的0.9.2,linkis用的1.4.0,直接忽略/api/rest_j/v1/datasource/dbs报的错,选用数据源中的,因为不适配,要改动下边两个地方: 1:qualitis的ui下的rule.js中,query_list改成queryList,不然qualitis前端不显示可下拉的数据源 2:qualitis的配置文件中,把datasource_connect_param改为data-source-manager/{DATA_SOURCE_ID}/connect-params

大佬,有个问题咨询下,我按照你上边说的可以查mysql数据源了,但是执行任务报超时错,检查Linkis1.4.0版本的6个服务都有正常启动,报错如下: desc: Waiting for engineNode:AMEngineNode{nodeStatus=null, lock='null', serviceInstance=ServiceInstance(linkis-cg-engineconn, ks-jenkins-04:46682), owner='admin'}(8876b001-1212-4891-84e6-9f6c3042add9) initialization TimeoutException, already waiting 657986 ms 你有碰到过吗?

还有Qualitis是必须依赖spark吗,还是搭建hadoop、yarn就可以了

依赖 Spark