Open Peterande opened 2 months ago
您好,我之前用4张卡能复现出结果。但是当我尝试用1张卡,batchsize X4 来跑,收敛明显变慢了,请问您知道可能的原因吗?bn也是同步了的。
这个 不应该啊;单卡bn好像也不需要同步吧;最终精度一样嘛
您好,我之前用4张卡能复现出结果。但是当我尝试用1张卡,batchsize X4 来跑,收敛明显变慢了,请问您知道可能的原因吗?bn也是同步了的。