search

fluid-cloudnative / community

Information about the Fluid community.
Apache License 2.0
4 stars 10 forks source link

add dataflow affinity proposal #53

Closed xliuqq closed 3 months ago

xliuqq commented 4 months ago

当前Fluid 支持 DataFlow，多个Data Operation可以顺序执行。但是不同的 Data Operation 的 Pod 在执行时，可能会在不同的节点，导致整体性能不高。期望能够在不同的 Data Operation 中”继承“指定的亲和性配置，提升整体DataFlow的执行性能。

xliuqq commented 4 months ago

@cheyang 如果整体没问题，后面可以翻译成英文。

cheyang commented 3 months ago

Thanks for your proposal. It looks pretty good. @TrafalgarZZZ , please also take a look. Thanks.

TrafalgarZZZ commented 3 months ago

当前Fluid 支持 DataFlow，多个Data Operation可以顺序执行。但是不同的 Data Operation 的 Pod 在执行时，可能会在不同的节点，导致整体性能不高。期望能够在不同的 Data Operation 中”继承“指定的亲和性配置，提升整体DataFlow的执行性能。

@xliuqq 感谢！我有一个问题是，用户最终会如何编写多个Data Operation的Yaml，Yaml中的Affinity会怎么写呢？是否意味着仅需要在第一个Data Operation中加上与节点的Affinity信息（e.g. Operation.spec.affinity），然后后续的Data Operation中填写Affinity Policy？

TrafalgarZZZ commented 3 months ago

当前Fluid 支持 DataFlow，多个Data Operation可以顺序执行。但是不同的 Data Operation 的 Pod 在执行时，可能会在不同的节点，导致整体性能不高。期望能够在不同的 Data Operation 中”继承“指定的亲和性配置，提升整体DataFlow的执行性能。

@xliuqq 感谢！我有一个问题是，用户最终会如何编写多个Data Operation的Yaml，Yaml中的Affinity会怎么写呢？是否意味着仅需要在第一个Data Operation中加上与节点的Affinity信息（e.g. Operation.spec.affinity），然后后续的Data Operation中填写Affinity Policy？

另一个类似的疑问是：如果我现在有A、B、C、D四个Data Operation，A Op没有调度亲和性（可以任意找有资源的节点调度），但后续的B、C、D Ops只需要prefer调度到A Op运行的节点的相同可用区，目前该设计中该如何编写Yaml呢？

xliuqq commented 3 months ago

@cheyang @TrafalgarZZZ please review the updated proposal. @cheyang should the en docs be in this pr ?

cheyang commented 3 months ago

@cheyang @TrafalgarZZZ please review the updated proposal. @cheyang should the en docs be in this pr ?

Thanks, @xliuqq . It looks good to me. We can create another PR for en doc.