FATE1.10上传数据时指定meta会报错

[FFinchR]

使用KubeFATE部署的FATE，上传数据时指定了meta:

phone_hetero_guest = {"name": "phone_hetero_guest", "namespace": f"phone"}
data_base = "/data/projects/fate/"
pipeline_upload.add_upload_data(file=os.path.join(data_base, "fate_data/fl/train_a_label.csv"),
                                table_name=phone_hetero_guest["name"],
                                namespace=phone_hetero_guest["namespace"],
                                head=1, partition=partition,with_meta=True,
                                meta={
                                    "with_label":True,
                                    "label_name":"label"
                                })

FATE-Board上报错如下： 已试验过，同一份数据，上传时不指定meta可以成功上传。 数据来源：“星河杯”隐私计算大赛，诈骗电话识别-联邦学习赛道

[zhihuiwan]

检测下你的配置里面是否有这个：https://github.com/FederatedAI/FATE-Flow/blob/v1.10.0/conf/component_registry.json#L21

[FFinchR]

fateflow配置如下：

{
  "components": {
  },
  "providers": {
  },
  "default_settings": {
    "fate_flow":{
      "default_version_key": "FATEFlow"
    },
    "fate": {
      "default_version_key": "FATE"
    },
    "class_path": {
      "interface": "components.components.Components",
      "feature_instance": "feature.instance.Instance",
      "feature_vector": "feature.sparse_vector.SparseVector",
      "model": "protobuf.generated",
      "model_migrate": "protobuf.model_migrate.model_migrate",
      "homo_model_convert": "protobuf.homo_model_convert.homo_model_convert"
    }
  }
}

请问是需要在class_path里添加上想要使用的组件吗？

[zhihuiwan]

请问下您是怎么部署的1.10版本呢？默认配置是都有的

[FFinchR]

请问下您是怎么部署的1.10版本呢？默认配置是都有的

我是使用的KubeFATE部署的，拉取的官方镜像

[zhihuiwan]

看起来是部署包没有把默认配置更新进去，麻烦@owlet42 帮忙看看

[ChrisBamaofan]

@zhihuiwan 我也是通过 kubefate部署了 fate1.10.0 ，详情是 fate-spark-pulsar的配置，通过client upload数据集时报错，帮忙看下是什么问题，

[ChrisBamaofan]

875 fate 1.10.0 使用pyarrow 连 hadoop3.x是报错的，

[zhihuiwan]

@zhihuiwan我也是通过kubefate部分配置了fate1.10.0，详情是fate-spark-pulsar的配置，通过客户端上传数据集时报错，帮忙看看下面是什么问题，

请问下hadoop是哪个版本？

[zhihuiwan]

你部署的hadoop在hadoop/lib/native目录下是不是缺失了libhdfs.so文件?可以参考这个issues:https://github.com/FederatedAI/FATE/issues/4425 @ChrisBamaofan

[ChrisBamaofan]

@zhihuiwan我也是通过kubefate部分配置了fate1.10.0，详情是fate-spark-pulsar的配置，通过客户端上传数据集时报错，帮忙看看下面是什么问题，

请问下hadoop是哪个版本？

我是按v1.10.0 的kubefate的README 通过 k8s-deploy 的方式， 走/examples/party-9999/cluster-spark-pulsar.yaml

[ChrisBamaofan]

你部署的hadoop在hadoop/lib/native目录下是不是缺失了libhdfs.so文件?可以参考这个issues:FederatedAI/FATE#4425 @ChrisBamaofan

spark+hdfs的版本 upload是报错了，然后铲掉了，后来通过 spark_local+localfs的方式部署，我再部署一遍看一下

[ChrisBamaofan]

你部署的hadoop在hadoop/lib/native目录下是不是缺失了libhdfs.so文件?可以参考这个issues:FederatedAI/FATE#4425 @ChrisBamaofan

刚刚通过kubefate 又部署了一遍 ，命令行是 ./kubefate cluster install -f ../kubefate/examples/party-9999/cluster-spark-pulsar.yaml，文件是没缺少的。