[BUG] 我使用celeborn-client-spark-3-shaded_2.12-0.5.1.jar 与spark 3.4.4_2.12 做demo过程中报错

[DADA-shuai]

celeborn 和 spark 都采用 k8s模式部署 spark提交任务，能正常被celeborn接收到 spark报错如下

我无法从其他社区联系到你们，希望看到后给我回复，感谢感谢！

[DADA-shuai]

/opt/software/spark/spark-3.4.4-bin-hadoop3/bin/spark-submit \ --master k8s://https://172.16.0.61:6443 \ --deploy-mode cluster \ --name spark-tc \ --class org.apache.spark.examples.JavaTC \ --conf spark.executor.instances=1 \ --conf spark.kubernetes.container.image=spark-celeborn:3.4.4-0.5.1 \ --conf spark.kubernetes.container.image.pullPolicy=IfNotPresent \ --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark-serviceaccount \ --conf spark.shuffle.manager=org.apache.spark.shuffle.celeborn.SparkShuffleManager \ --conf spark.shuffle.service.enabled=false \ --conf spark.celeborn.master.endpoints=celeborn-master-0.celeborn-master-svc.celeborn:9097,celeborn-master-1.celeborn-master-svc.celeborn:9097,celeborn-master-2.celeborn-master-svc.celeborn:9097 \ local:///opt/spark/examples/jars/spark-examples_2.12-3.4.4.jar

任务提交命令如上

[FMX]

spark 提交命令的时候，添加这个配置项 --conf spark.serializer=org.apache.spark.serializer.KryoSerializer ，这是必要的

目前联系社区的方式有好几种，slack，微信群，钉钉群，或者是 邮件组 user@celeborn.apache.org 或者 dev@celeborn.apache.org

[FMX]

如果你有钉钉账号，可以考虑直接给我发一个邮件，我拉你到钉钉群里面去，钉钉群目前的支持是比较及时的

[FMX]

你可以在我的 GitHub 主页上找到我的邮箱，可以把个人联系方式发我， 我可以把你拉到钉钉或者微信群里面。

[DADA-shuai]

--------- ，收到请告知一声谢谢

@.***

发件人： Ethan Feng 发送时间： 2024-11-21 16:55 收件人： apache/celeborn 抄送： pz; Author 主题： Re: [apache/celeborn] [BUG] 我使用celeborn-client-spark-3-shaded_2.12-0.5.1.jar 与spark 3.4.4_2.12 做demo过程中报错 (Issue #2934) 你可以在我的 GitHub 主页上找到我的邮箱，可以把个人联系方式发我， 我可以把你拉到钉钉或者微信群里面。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[FMX]

-------- ，收到请告知一声谢谢 @. 发件人： Ethan Feng 发送时间： 2024-11-21 16:55 收件人： apache/celeborn 抄送： pz; Author 主题： Re: [apache/celeborn] [BUG] 我使用celeborn-client-spark-3-shaded_2.12-0.5.1.jar 与spark 3.4.4_2.12 做demo过程中报错 (Issue #2934) 你可以在我的 GitHub 主页上找到我的邮箱，可以把个人联系方式发我， 我可以把你拉到钉钉或者微信群里面。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.>

请不要在这里直接回复，这会导致你的个人信息直接暴露在 GitHub 上。我优先添加你的钉钉号。上一条消息我会编辑一下，至少让 github issue 上其他人不能直接看到你的个人信息。

[DADA-shuai]

这样确实执行成功了，感谢老师，我能想到是这方面的错误，但是我无法定位

@.***

发件人： Ethan Feng 发送时间： 2024-11-21 16:52 收件人： apache/celeborn 抄送： pz; Author 主题： Re: [apache/celeborn] [BUG] 我使用celeborn-client-spark-3-shaded_2.12-0.5.1.jar 与spark 3.4.4_2.12 做demo过程中报错 (Issue #2934) spark 提交命令的时候，添加这个配置项 --conf spark.serializer=org.apache.spark.serializer.KryoSerializer ，这是必要的 目前联系社区的方式有好几种，slack，微信群，钉钉群，或者是 邮件组 @. 或者 @. — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[FMX]

https://celeborn.apache.org/community/maillist/

这里能看到 celeborn 的邮件组。我添加你的钉钉了。

[DADA-shuai]

ok,感谢