search

datavane / tis

Support agile DataOps Based on Flink, DataX and Flink-CDC, Chunjun with Web-UI
https://tis.pub
Apache License 2.0
1.01k stars 220 forks source link

TIS 中支持阿里云 odps导入及基于MaxComputer的离线数据分析 #183

Closed baisui1981 closed 1 year ago

baisui1981 commented 1 year ago

为了支持在TIS中支持 支持基于阿里云MaxComputer的离线数据分析类型，需要在TIS中支持ODPS的类型的DataX Writer 组件

  1. 用户可以在TIS中将Reader端数据同步到ODPS中
  2. 用户可以在TIS workflow中进行MaxComputer的离线数据分析

这个版本先不考虑处理完成的结果数据同步到外部数据存储端，也不考虑机遇MaxComputer批量处理逻辑来自动生成实时流逻辑（留到下个版本中考虑）

baisui1981 commented 1 year ago

已经实现了