Flinkx 最新编译步骤

Su1024 commented 2 years ago

最新官方网站：https://dtstack.github.io/chunjun-web/ 建议先看下quick start：https://dtstack.github.io/chunjun-web/docs/chunjunDocs/quickstart

写在前面

目前在编译主干分支上的代码的时候遇到了很多问题，按照官网文档编译是完全编译不出来的，希望大佬们能修正下文档内容，以下是我基于master分支编译步骤仅供参考

编译步骤

1.获取代码

略

2.安装依赖的jar包

flinkx 写了很多connecotrs ，并且将驱动包放在了对应的 jars 目录中，在正式编译之前强烈建议先完成驱动包的安装，可以使用工程中的脚本执行具体执行目录如下

flinkx/bin/install_jars.sh

cd flinkx/bin/install_jars.sh

sh install_jars.sh

如果在编译过程中遇到一些 connecotrs问题，但是connecotrs你又不需要建议在 flink-connecotrs的pom中将对应的module注释掉

3.执行编译命令

mvn clean install -DskipTests

4.遇到的问题

4.1 Step 'google-java-format' found problem in 'XXX'

问题截图

解决步骤 找到父工程的pom文件，找到390行左右，将如下内容注释掉

4.2 官方的文档错误

官方给的 local 模式的执行文件路径错误,需要调整成如下命令

./bin/flinkx \
        -mode local \
        -jobType sync \
        -job flinkx-examples/json/stream/stream.json \
        -flinkxDistDir flinkx-dist

Aliang-CN commented 2 years ago

多谢大佬

linbaicome commented 2 years ago

执行编译命令时一直在 INFO: Retrying request to {s}->https://github.com:443 不知道怎么解决？ fanqiang了也不行

FlechazoW commented 2 years ago

执行编译命令时一直在 INFO: Retrying request to {s}->https://github.com:443 不知道怎么解决？ fanqiang了也不行

你这个是代理问题，百度下应该有解决方案。

kim-up commented 2 years ago

Compiling on master:

 Could not find artifact io.confluent:kafka-schema-registry-client:pom:5.5.2 in aliyunmaven (https://maven.aliyun.com/repository/public)

DTStack / chunjun