Closed baisui1981 closed 1 year ago
目前 TIS中基于 FTP,OSS,HDFS 方式的reader和write,这些端类型(reader)相同点是非结构化的文件,需要在定义源端时,为数据源配置 schema,设置文件格式format,文件压缩类型等。
目前每种端类型各自有一套,这样代码维护起来比较麻烦,每种端类型不同点仅仅是获取文件流的方式不同而已,所以有必要将 FTP,OSS,HDFS 这几种类型统一成一个新的端 名字就叫 T-DFS( TIS 分布式文件系统) ,这样还能方便将来扩充类型
T-DFS
相关issue:https://github.com/datavane/tis/issues/252
可以基于现在 ftp reader/writer来改造: https://github.com/qlangtech/plugins/blob/ed70d98bac2102b0cc303667f296aa0c4141ade7/tis-datax/tis-datax-ftp-plugin/src/main/java/com/qlangtech/tis/plugin/datax/DataXFtpReader.java
https://github.com/qlangtech/plugins/blob/883fb9e80ec0593621d50920eeb8efe2f180fc7d/tis-datax/tis-datax-ftp-plugin/src/main/java/com/qlangtech/tis/plugin/datax/DataXFtpWriter.java
目前 TIS中基于 FTP,OSS,HDFS 方式的reader和write,这些端类型(reader)相同点是非结构化的文件,需要在定义源端时,为数据源配置 schema,设置文件格式format,文件压缩类型等。
目前每种端类型各自有一套,这样代码维护起来比较麻烦,每种端类型不同点仅仅是获取文件流的方式不同而已,所以有必要将 FTP,OSS,HDFS 这几种类型统一成一个新的端 名字就叫
T-DFS
( TIS 分布式文件系统) ,这样还能方便将来扩充类型相关issue:https://github.com/datavane/tis/issues/252