datavane / tis

Support agile DataOps Based on Flink, DataX and Flink-CDC, Chunjun with Web-UI
https://tis.pub
Apache License 2.0
984 stars 217 forks source link

实现TIS与Zeppling的整合弥补TIS在数据可视化方面的短板 #161

Closed baisui1981 closed 1 year ago

baisui1981 commented 1 year ago

TIS目前已经实现 ETL 数仓的 抽取(E)和加载(L),转化(T)还没有很深涉足。

不过在ETL之上另外一块比较重要的是数据的可视化,当用户在处理数据的过程,数据具体的状态是否大要处理的预期效果,目前还要要通过TIS之外的客户端工具来查看的,目前发现社区有一款比较优秀的产品 zepplin,隶属于Apache基金会。特点是用java实现,支持的端比较丰富,前端也是用Angular来实现的。

从直觉上来看,对其加以改造可以与TIS进行整合以弥补在数据可视化方面的短板。

baisui1981 commented 1 year ago
baisui1981 commented 1 year ago

已经实现了

baisui1981 commented 1 year ago
模块 作用
Zeppelin: Common
Zeppelin: Interpreter
Zeppelin: Interpreter Shaded 生成 interpreter/zeppelin-interpreter-shaded-0.10.2-SNAPSHOT.jar
Zeppelin: Zengine
Zeppelin: JDBC interpreter
Zeppelin: Elasticsearch interpreter
Zeppelin: Client
Zeppelin: Server
Zeppelin: Packaging distribution 构建zeppelin工程包,被zeppelin-package 所依赖
jdbc-tis 构建 interpreter/jdbc-tis
elasticsearch-tis 构建interpreter/elasticsearch-tis
zeppelin-package 构建 tis-zeppelin-0.10.1-bin-all.tar.gz ZEPPELIN_HOME 对应的包文件
tis-zeppelin 构建 tis-uber 下zeppelin相关的context 包文件