Open Guo-Zhang opened 6 months ago
基本思路是围绕现有的开源方案进行整合、二次开发、或者自研重构。 在这个过程中,可能需要大量的Adapter以适配到我们的体系内。
开源的Superset代替Tableau接入或二次开发。具体路线需要对Superset深入以后才能了解。
可能的拓展方向:对接元数据平台OpenMetadata等。
整体参考AirFlow的设计思路、围绕云原生的基础设施搭建。 不选择二次开发的原因是AirFlow整体的建模很难与其他应用打通,我们需要从头建立一套更贴合云原生的方案代替。 如果有需要也可以考虑兼容AirFlow。
备选云原生基础设施包括:
Arrow: 内存序列化,方便在不同编程语言中传递。 Bytebase: 数据库DevOps工具。
TableFlow: CSV 数据导入
对于XAgent,量潮的所有云都可以是“Tool Server”。
对于量潮云,XAgent是一个托管在AIGC云上的AIGC应用。
对于数据云,XAgent使用的场景主要在于特定的没有经过规划的场景,使用metaGPT模型解决不了问题。这类场景在数据处理中是很常见的。高校项目可以用来做实验。
AgentDispatcher考虑使用RAG增强,把数据云已有的知识塞进去。
基本思路是围绕现有的开源方案进行整合、二次开发、或者自研重构。 在这个过程中,可能需要大量的Adapter以适配到我们的体系内。
数据生命周期管理
数据可视化
开源的Superset代替Tableau接入或二次开发。具体路线需要对Superset深入以后才能了解。
可能的拓展方向:对接元数据平台OpenMetadata等。
数据系统治理
整体参考AirFlow的设计思路、围绕云原生的基础设施搭建。 不选择二次开发的原因是AirFlow整体的建模很难与其他应用打通,我们需要从头建立一套更贴合云原生的方案代替。 如果有需要也可以考虑兼容AirFlow。
备选云原生基础设施包括:
未分类
底层
Arrow: 内存序列化,方便在不同编程语言中传递。 Bytebase: 数据库DevOps工具。
顶层
TableFlow: CSV 数据导入