datavane / tis

Support agile DataOps Based on Flink, DataX and Flink-CDC, Chunjun with Web-UI
https://tis.pub
Apache License 2.0
1.04k stars 221 forks source link

FTP、OSS、HDFS统一成T-DFS #253

Closed baisui1981 closed 1 year ago

baisui1981 commented 1 year ago

目前 TIS中基于 FTP,OSS,HDFS 方式的reader和write,这些端类型(reader)相同点是非结构化的文件,需要在定义源端时,为数据源配置 schema,设置文件格式format,文件压缩类型等。

目前每种端类型各自有一套,这样代码维护起来比较麻烦,每种端类型不同点仅仅是获取文件流的方式不同而已,所以有必要将 FTP,OSS,HDFS 这几种类型统一成一个新的端 名字就叫 T-DFS( TIS 分布式文件系统) ,这样还能方便将来扩充类型

相关issue:https://github.com/datavane/tis/issues/252

baisui1981 commented 1 year ago

可以基于现在 ftp reader/writer来改造: https://github.com/qlangtech/plugins/blob/ed70d98bac2102b0cc303667f296aa0c4141ade7/tis-datax/tis-datax-ftp-plugin/src/main/java/com/qlangtech/tis/plugin/datax/DataXFtpReader.java

https://github.com/qlangtech/plugins/blob/883fb9e80ec0593621d50920eeb8efe2f180fc7d/tis-datax/tis-datax-ftp-plugin/src/main/java/com/qlangtech/tis/plugin/datax/DataXFtpWriter.java