use engine to load data proposal

fluid-cloudnative / community

Information about the Fluid community.

Apache License 2.0

4 stars 10 forks source link

use engine to load data proposal #16

Closed XIAO-HOU closed 3 years ago

XIAO-HOU commented 3 years ago

the proposal and design for using engine to load data

cheyang commented 3 years ago

原则：

1.一个Engine对应一个Dataset（Runtime） 2.一个Engine可以执行多次LoadData，且多次LoadData的定义可以不同 3.对于同一个Dataset 的LoadData行为按时间顺序，先提交的完成后，才能执行下一个。否则就是Pending。 Engine中可以构建DataLoad的队列。

cheyang commented 3 years ago

我有一些关于设计完整性的问题，可以思考一下 1.单独任务提交的全生命周期的管理：

如何保证loadData操作的幂等性。目前看到了任务的提交，如何对任务生命周期的管理并没有看到相应的设计。如何体现reconcile？
- 数据加载任务状态机的转化
  1. 同一个dataset不同dataload操作之间的互相依赖
- 如何保证对于同一个dataset，不同的dataload crd确保顺序执行