search

alibaba / DataX

DataX是阿里云DataWorks数据集成的开源版本。
Other
15.91k stars 5.43k forks source link

基于规则的转换组件(RBT) #1410

Open leehom opened 2 years ago

leehom commented 2 years ago

datax 注意力大部分是reader/writer, datax的设计核心在于星型结构，即，reader/writer可以随意撤换，中间exchanger作适配，Transfomer应该是最重要的角色，但datax本身Transfomer比较简单，本组使用xql/规则实现Transfomer构建，适配reader/writer，目前以图库为writer，但可作为探索，实现低代码datax 设置转换规则 其中，xql 数据库之sql；elasticserch esdel等 RBT原理

详细的设计原理 https://www.toutiao.com/article/7109709746328060431/

fuchanghai commented 2 years ago

之前还在其他的大数据可视化的项目中 看到你呢。感觉datax 已经放弃了，没有人看issues 和PR 了

leehom commented 2 years ago

之前还在其他的大数据可视化的项目中 看到你呢。感觉datax 已经放弃了，没有人看issues 和PR 了

datax底子不错的，就算官方忙过来，我们每个人都可以贡献点力量

ssquan commented 2 years ago

理解现在的趋势是由 ETL 转向 ELT。

leehom commented 2 years ago

理解现在的趋势是由 ETL 转向 ELT。

不能说趋势，只是场景，ELT适合大量数据，减少中间环节，最快的L到目标环境，做本地的T; 另一个场景，数据增量的Paas，不同的用户提交的reader/writer对增量同步数据，充分利用datax的星型结构，T就充当适配的作用