Closed shengxiangwang closed 1 year ago
XPU多卡训练过程中,某些卡计算完成后调用all reduce 等待其他卡的时间超过默认阈值。 这里在前向和后向之间,添加一个额外的all_reduce 操作,以减少all reduce 超时的出现。
XPU多卡训练过程中,某些卡计算完成后调用all reduce 等待其他卡的时间超过默认阈值。 这里在前向和后向之间,添加一个额外的all_reduce 操作,以减少all reduce 超时的出现。