数据工程标准文档目录

[Guo-Zhang]

目前暂时没有分Part。如果划分，可以考虑：

第一部分：领域模型。包括数据实体（数据集、数据模型、数据记录等）、处理器、调度器等。为整个标准文档搭建基石。 第二部分：领域问题和解决方案。包括数据治理、弹性计算、编排、DataOps等。为关键问题提供完整的解决方案，必要可以引用云计算标准、DevOps标准等其他标准联合解决问题。 第三部分：行业应用。比如经济模型（理论和结构实证）、统计和计量建模、财务报表分析、AIGC等等。可以考虑提供一些具体场景的拓展规范，为其他的标准或者云提供数据工程领域的方案。不过一般标准文件不会写这类。

[Guo-Zhang]

主要参考：

• OAuth2：https://datatracker.ietf.org/doc/html/rfc6749
• OIDC：https://openid.net/specs/openid-connect-core-1_0.html

[Guo-Zhang]

数据实体：

• 数据集、数据模型、数据记录。通过DataBackend存数据，比如Database、Object Storage、File等等，可以通过metadata方案接入。
• 数据应用、数据视图：各种可视化的图片或者网页。

数据实体的生命周期。类别组件的“生命周期”，可以自定义状态具体的变化。

定义“数据处理”为数据实体的状态变化。通过数据引擎DataEngine具体运行，比如函数计算。

定义“编排”为数据实体的状态（Node）和数据处理（Edge）产生的状态变化。

定义“DataOps”为管理上述三类程序的过程。