Open xcl1102 opened 1 year ago
spark 分区数据量特别大20多万的分区,driver内存为15G,由于master是通过driver启动的,作业运行1/3之后,shuffleEpochSetMap 占用内存将近10G左右,导致driver内存溢出,shuffleEpochSetMap 的大小跟什么有关系,为什么会占用这么多的内存,有什么解决办法吗
spark 分区数据量特别大20多万的分区,driver内存为15G,由于master是通过driver启动的,作业运行1/3之后,shuffleEpochSetMap 占用内存将近10G左右,导致driver内存溢出,shuffleEpochSetMap 的大小跟什么有关系,为什么会占用这么多的内存,有什么解决办法吗