[Question][chunjun-connectors] 加入chunjun-core.jar和chunjun-connector-dm.jar到flink的lib后，flinksql不识别dm-x

mamacmm commented 1 year ago

Search before asking

[X] I had searched in the issues and found no similar question.
[X] I had googled my question but i didn't get any help.
[X] I had read the documentation: ChunJun doc but it didn't help me.

Description

chunjun的版本使用的是master分支，pom里面使用的flink是1.16.1 flink的版本使用的是1.17.0

问题1：

自己编译后，chunjun-connector-dm.jar 是23kb，而从官网下载的 chunjun-dist-1.12-SNAPSHOT.tar.gz 里面的 chunjun-connector-dm.jar 是13M，这是改了打包机制了吗？

问题2：

把 chunjun-core.jar 和 chunjun-connector-dm.jar 放到自己的 flink-1.17.0 的 lib 目录，启动 bin/sql-client.sh ，然后测试dm插件报错：

java.lang.NoSuchMethodError: org.apache.flink.streaming.api.graph.StreamGraph.setAutoParallelismEnabled(Z)V

重写了下 StreamGraph ，重新打包 chunjun-core.jar 再运行，报错：

[ERROR] Could not execute SQL statement. Reason:
org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'dm-x' that implements 'org.apache.flink.table.factories.DynamicTableFactory' in the classpath.

Available factory identifiers are:

blackhole
datagen
doris
filesystem
mysql-cdc
print
python-input-format

我已经把 chunjun-connector-dm.jar 加入到了 flink 的 lib 目录，为什么还是找不到 dm-x 呢？

Code of Conduct

[X] I agree to follow this project's Code of Conduct

KerYooz commented 1 year ago

chunjun-connector-dm.jar应该在chunjun-dist/connector(或指定)下，而不是bin目录下，可以检查一下打包pom

mamacmm commented 1 year ago

@KerYooz 谢谢回复。不太清楚你说的是什么意思，我的意思是想要在flink1.17.0里面使用chunjun-connector-dm.jar这个插件。我看 chunjun-connector-dm.jar 这个包里面也有 org.apache.flink.table.factories.Factory 这个，文件里面也有 DmDynamicTableFactory，为什么放到 lib 目录下后，启动 bin/sql-client.sh ，执行flinksql 报错，找不到 dm-x 呢？难道把 chunjun-core.jar 和 chunjun-connector-dm.jar 这两个包放到 flink 的 lib 目录还不够，还差什么配置吗

KerYooz commented 1 year ago

Dm-x依赖于JdbcDynamicTableFactory的,你的chunjun-connector-jdbc-base.jar有吗

mamacmm commented 1 year ago

感谢提醒，原来还有chunjun-connector-jdbc-base.jar包另外在测试过程中发现，还缺少其它包。所有的依赖包如下：

chunjun-connector-dm.jar
chunjun-connector-jdbc-base-master.jar
chunjun-core.jar
flink-connector-jdbc-1.16.1.jar
commons-lang-2.6.jar
vertx-core-3.9.7.jar
vertx-jdbc-client-3.9.7.jar
DmJdbcDriver18-8.1.2.141.jar

caiyuyux commented 1 year ago

@KerYooz 可以麻烦看下我这个 issue 吗，也有类似的问题 https://github.com/DTStack/chunjun/issues/1752

DTStack / chunjun