search

hhyo / Archery

SQL 审核查询平台
https://archerydms.com
Apache License 2.0
6.01k stars 1.68k forks source link

[ 需求 ]是否可以添加批量任务执行 #95

Open 2963305366 opened 5 years ago

2963305366 commented 5 years ago

问题描述

部署的archer1.4.3，能成功运行，但是有个痛点，比如我们主库实例有300多个，这个时候很麻烦。 1，添加主库实例的时候，得一个个添加一个个关联资源组，是否有便捷方法？ 2，发布SQL的时候要一个个实例去点击发布同样一个SQL，有点繁琐，是否可以提供批量发布功能？

感谢免费开源archer，很好用，真心感谢感谢！

LeoQuote commented 5 years ago

有没有考虑过利用类似mysql cluster 的功能来做？ 批量发布这个功能似乎不应该是一个工单平台实现的。

关于批量添加的事情， 目前可以批量关联， 但是批量添加功能目前还没有， 我们的密码加密代码在 https://github.com/hhyo/Archery/blob/master/common/utils/aes_decryptor.py ， 可以将密码按代码中的方法加密后， 通过sql语句的方式灌进去。

或者用model对象也可以

2963305366 commented 5 years ago

我们每个实例的业务都不一样，不是sharding啥的，每套实例只是一些表结构是一样的，并非所有全部一致。cluster并不适合。

LeoQuote commented 5 years ago

我们目前有的是将同样的语句快速提交到别的实例，这个功能是为了解决多环境的问题，一般环境可能三四个最多了。

如果像你描述的环境有几百个，我比较倾向于你们公司架构设计是不是有优化空间，一些数据结构类似而且需要同步变更的表，是不是可以考虑合并使用。

hhyo commented 5 years ago

初始化实例添加和关联资源组确实没有更便捷的办法，可梳理清表结构关系后按照 @LeoQuote 的方式自行生成SQL写入数据库

关于批量任务执行，不知道具体你的需求是批量执行还是批量提交

ganlanshu commented 3 years ago

关于批量任务执行，不知道具体你的需求是批量执行还是批量提交> * 对于批量提交这块平台不会去做，因为涉及到选择不同实例不同数据库，还有检测结果的展示等，会比较复杂，一般会通过数据库中间件来做掉了

  • 请问里面提到的数据库中间件有啥，可以举个例子吗
hhyo commented 3 years ago

关于批量任务执行，不知道具体你的需求是批量执行还是批量提交> * 对于批量提交这块平台不会去做，因为涉及到选择不同实例不同数据库，还有检测结果的展示等，会比较复杂，一般会通过数据库中间件来做掉了

  • 请问里面提到的数据库中间件有啥，可以举个例子吗

中间件可以做dml，ddl还是需要平台来处理，不过由于不同场景的分片规则不一致，想要做成通用的会比较困难

ganlanshu commented 3 years ago

关于批量添加的事情， 目前可以批量关联， 但是批量添加功能目前还没有， 我们的密码加密代码在 https://github.com/hhyo/Archery/blob/master/common/utils/aes_decryptor.py ， 可以将密码按代码中的方法加密后， 通过sql语句的方式灌进去。

或者用model对象也可以

  • 利用model对象批量插入实例，发现密码加密方法并不是按照aes_decryptor的方法加密的。
  • 利用aes_decryptor 里的加密方法，加密密码后得到的数据，和直接利用sql查询到的密码不一样，感觉像是按照依赖的第三方工具包django-mirage加密的，可以说下真正使用的是哪种加密方法吗
hhyo commented 3 years ago

目前都是使用django-mirage加密的

ganlanshu commented 3 years ago

目前都是使用django-mirage加密的

好的，问题已解决，感谢