search

FederatedAI / KubeFATE

Manage federated learning workload using cloud native technologies.
Apache License 2.0
424 stars 221 forks source link

fate1.10.0 上传数据集报错 #875

Open ChrisBamaofan opened 1 year ago

ChrisBamaofan commented 1 year ago

环境：使用kubefate ，照 fate-on-k8s安装fate 1.10.0 具体是 fate +spark+pulsar，且在一套k8s中安装了9999端和10000端 问题：在9999上传breast_hetero_guest时，报错，如图 image 服务都启动正常，且namenode有该路径

image

帮忙看下是哪里配置的问题

ChrisBamaofan commented 1 year ago

@owlet42 通过接口绑定到hdfs的方式也失败了，fateflow报错如下 image

ChrisBamaofan commented 1 year ago

在网上看到了通过pyarrow连 hadoop 3.x 的相同报错

owlet42 commented 1 year ago

k8s集群网络插件是否正常，检查下hdfs的pod的IP都对不对

FFinchR commented 1 year ago

@ChrisBamaofan 请问你解决了吗？我遇到了同样的问题 image

ChrisBamaofan commented 1 year ago

@ChrisBamaofan 请问你解决了吗？我遇到了同样的问题 image

没解决，后来用了localspark+localfs的方式部署

FFinchR commented 1 year ago

没解决，后来用了localspark+localfs的方式部署

好的，感谢回复。