quanttide / quanttide-business-plan-of-readme

量潮商业计划
https://quanttide.github.io/quanttide-business-plan-of-readme/
0 stars 0 forks source link

产品与服务-数据云 #5

Open Guo-Zhang opened 6 months ago

Guo-Zhang commented 6 months ago

基本思路是围绕现有的开源方案进行整合、二次开发、或者自研重构。 在这个过程中,可能需要大量的Adapter以适配到我们的体系内。

数据生命周期管理

数据可视化

开源的Superset代替Tableau接入或二次开发。具体路线需要对Superset深入以后才能了解。

可能的拓展方向:对接元数据平台OpenMetadata等。

数据系统治理

整体参考AirFlow的设计思路、围绕云原生的基础设施搭建。 不选择二次开发的原因是AirFlow整体的建模很难与其他应用打通,我们需要从头建立一套更贴合云原生的方案代替。 如果有需要也可以考虑兼容AirFlow。

备选云原生基础设施包括:

未分类

底层

Arrow: 内存序列化,方便在不同编程语言中传递。 Bytebase: 数据库DevOps工具。

顶层

TableFlow: CSV 数据导入

Guo-Zhang commented 6 months ago

智能化 with XAgent

对于XAgent,量潮的所有云都可以是“Tool Server”。

对于量潮云,XAgent是一个托管在AIGC云上的AIGC应用。

对于数据云,XAgent使用的场景主要在于特定的没有经过规划的场景,使用metaGPT模型解决不了问题。这类场景在数据处理中是很常见的。高校项目可以用来做实验。

AgentDispatcher考虑使用RAG增强,把数据云已有的知识塞进去。