search

FederatedAI / KubeFATE

Manage federated learning workload using cloud native technologies.
Apache License 2.0
418 stars 222 forks source link

FATE执行效率 #809

Open Averryjj opened 1 year ago

Averryjj commented 1 year ago

1、使用虚拟机以源码方式部署FATE； 2、使用k8s部署以kubefate方式部署FATE。 经测试，方式1从任务提交成功到真正执行中间差1秒左右，执行后每个组件之间的数据流的传输也较快，方式2，从任务提交成功到真正执行中间差了4秒左右，且执行后每个组件之间的数据流传输好慢。有什么优化方法吗？希望提升方式2的算法执行效率 我尝试过

image

更改这些参数，并没有变化，问题不能解决，请指教下吧，谢谢

JingChen23 commented 1 year ago

你的VM是什么配置？ 你的k8s有几个node？每个node是什么配置？

Averryjj commented 1 year ago

你的VM是什么配置？ 你的k8s有几个node？每个node是什么配置？

方式1 的部署配置：8C/16G，2个节点 方式2的部署配置：k8s 2个8C/32G 2个16C/64G的node节点，共4个

JingChen23 commented 1 year ago

使用的是eggroll做计算还是spark?

Averryjj commented 1 year ago

使用的是eggroll做计算还是spark?

使用的eggroll

yyf1986 commented 1 year ago

@Averryjj 想请教下两种方式的联合建模有比较过效率吗？