Spark集群使用eggroll进行通信

FederatedAI / KubeFATE

Manage federated learning workload using cloud native technologies.

Apache License 2.0

418 stars 222 forks source link

Open FFinchR opened 1 year ago

FFinchR commented 1 year ago

https://github.com/FederatedAI/FATE/issues/4651 使用KubeFATE部署的集群，想要实现异构计算后端（Spark与Eggroll）的互联，使用eggroll进行通信

computing: Spark
federation: Eggroll
storage: HDFS
algorithm: Basic
device: CPU

需要添加哪些module？

modules:
  - mysql
  - python
  - fateboard
  - client
  - rollsite
  - spark
  - hdfs

是在spark与hdfs之外添加一个rollsite就可以了吗？

owlet42 commented 1 year ago

异构的互联建议使用pulsar作为federation

FFinchR commented 1 year ago

使用pulsar作为federation的话，是不是同时要使用nginx作为proxy？需要修改哪些配置呢？