分区太多会导致driver内存溢出

bytedance / CloudShuffleService

Cloud Shuffle Service(CSS) is a general purpose remote shuffle solution for compute engines, including Spark/Flink/MapReduce.

Apache License 2.0

247 stars 57 forks source link

分区太多会导致driver内存溢出 #9

Open xcl1102 opened 1 year ago

xcl1102 commented 1 year ago

spark 分区数据量特别大20多万的分区，driver内存为15G，由于master是通过driver启动的，作业运行1/3之后，shuffleEpochSetMap 占用内存将近10G左右，导致driver内存溢出，shuffleEpochSetMap 的大小跟什么有关系，为什么会占用这么多的内存，有什么解决办法吗