alibaba / DataX

DataX是阿里云DataWorks数据集成的开源版本。
Other
15.95k stars 5.44k forks source link

能否支持多个异构数据库的数据融合 #615

Open headyfang opened 4 years ago

headyfang commented 4 years ago

需求是这样的,就是两个不同类型的源数据库,一个是mysql,一个是mongdb,现在就是要分别读取这两个数据库的数据,然后通过某几个字段进行join,然后将join后的数据输出到另外一个mysql数据库。

另外还有一个需求就是把多个数据库某几张表的数据融合成宽表后,重新进行拆分,然后把拆分后的几个结果表分别同步到其对应的目标数据库。

请问现在datax能做到这种功能吗?应该属于数据抽取、数据丰富、数据拆分映射、数据转化等这面的功能。而不仅仅是简单的几个异构数据库间的数据同步。

hexnn commented 2 months ago

@headyfang 你要找的应该是这个:https://github.com/hexnn/stark