data-compare

[zhugezifang]

你是否已经阅读并同意《Datawhale开源项目指南》？

• [X] 我已阅读并同意《Datawhale开源项目指南》

你是否已经阅读并同意《Datawhale开源项目行为准则》？

• [X] 我已阅读并同意《Datawhale开源项目行为准则》

项目简介

项目描述： dataCompare 是一个数据库比对工具：支持hive表数据比对，mysql 数据比对，实现自动化配置进行数据比对，避免频繁写sql 进行处理，后续考虑支持doris、ck等等

立项理由

解决大数据对比自动化、低代码平台

项目受众

Java、Hive、Spark 大数据

项目亮点

亮点： (1)验证数据、数据比对，浪费极大的人力成本

(2)没有一套标准，验证的结果难以评估

(3)达到界面交互、勾选或者低代码即可实现自动化数据校验比对

(4)低代码简单配置完成数据比对核心功能

(5)数据量级比对、数据一致性比对

项目负责人

项目地址： https://github.com/zhugezifang/dataCompare

联系人:诸葛子房 联系方式:微信 zhugezifang001

备注：发起立项申请后DOPMC将会在 72h 之内给出答复，如超时未答复请添加DOPMC负责人微信（微信号：at-Sm1les）问询~

• [X] 我已知悉上述备注

[ZhikangNiu]

有现有的类似的平台吗

[zhugezifang]

有现有的类似的平台吗

目前开源的是没有，可能有一些公司内部有

[ZhikangNiu]

有现有的类似的平台吗

目前开源的是没有，可能有一些公司内部有

您是要做一个教程？还是对整个系统的组成进行介绍呢？不好意思，我可能对这里理解有点偏差: )

[andongBlue]

你是要出一个对比的表吗？然后基于这个表做一个标准让大家参考？

[ruyiluo]

我理解这个是一个数据查diff的工具？比如两个hive表？你这个工具未来是打算推广给别人使用么？

[mba1398]

我理解是孵化一个产品，看介绍这个工具已经基本成型了。工具涉及的技术栈比较复杂，学习工具开发过程我估计相当有难度。可能我的工作接触这方面的还不够广泛，目前项目上没有对比两张表结构相同的表的数据是否一致的需求，是新旧项目数据迁移会用到吗？

[zhanhao93]

感觉比较疑惑，不知道这个项目的核心工作是要做什么？是针对一个工具来制作相应的教程，还是构建整个系统（如果是系统的话，似乎不需要在最后加一个“可预见的困难”）。

[zhugezifang]

核心功能

有现有的类似的平台吗

目前开源的是没有，可能有一些公司内部有

您是要做一个教程？还是对整个系统的组成进行介绍呢？不好意思，我可能对这里理解有点偏差: )

主要是想在社区推广开源项目，邀请更多的参与者进来一起参与，扩大项目的影响力

[zhugezifang]

我理解是孵化一个产品，看介绍这个工具已经基本成型了。工具涉及的技术栈比较复杂，学习工具开发过程我估计相当有难度。可能我的工作接触这方面的还不够广泛，目前项目上没有对比两张表结构相同的表的数据是否一致的需求，是新旧项目数据迁移会用到吗？

对的，产品核心已经完善了，可能还有一些更细致的功能暂时还没完善，所以想推广下，看看有没有其他朋友或者公司有类似的需求，借助社区来进行推广和共建

[zhugezifang]

感觉比较疑惑，不知道这个项目的核心工作是要做什么？是针对一个工具来制作相应的教程，还是构建整个系统（如果是系统的话，似乎不需要在最后加一个“可预见的困难”）。

额，，更新了下文档内容，可能直接使用的社区模板，有部分内容没有填充，所以去掉了这部分

[zhugezifang]

我理解这个是一个数据查diff的工具？比如两个hive表？你这个工具未来是打算推广给别人使用么？

对的，想在社区进行推广，找到使用用户 和一起感兴趣的朋友共建

[ruyiluo]

我理解这个是一个数据查diff的工具？比如两个hive表？你这个工具未来是打算推广给别人使用么？

对的，想在社区进行推广，找到使用用户 和一起感兴趣的朋友共建

支持，可以尝试

同意！

[qiwang067]

同意

[GYHHAHA]

同意

[skywateryang]

同意

[finlay-liu]

同意

[ZhikangNiu]

同意

[zhanhao93]

同意

[andongBlue]

同意

[mba1398]

同意

[Sm1les]

同意