juejin-cn / open-source

🏆 寻找你最值得关注的开源库
https://juejin-cn.github.io/open-source/
MIT License
253 stars 31 forks source link

【自荐】开源大数据比对平台—dataCompare #25

Open zhugezifang opened 1 year ago

zhugezifang commented 1 year ago

项目地址:https://github.com/zhugezifang/dataCompare

类别:Java、Hive、Spark 大数据

项目标题:开源大数据比对平台—dataCompare

项目描述: dataCompare 是一个数据库比对工具:支持hive表数据比对,mysql 数据比对,实现自动化配置进行数据比对,避免频繁写sql 进行处理,后续考虑支持doris、ck等等

亮点: (1)验证数据、数据比对,浪费极大的人力成本

(2)没有一套标准,验证的结果难以评估

(3)达到界面交互、勾选或者低代码即可实现自动化数据校验比对

(4)低代码简单配置完成数据比对核心功能

(5)数据量级比对、数据一致性比对

示例代码:代码请参考仓库。

image