Open rangmiao opened 5 months ago
作者你好,很感谢你们的工作!我在复现MoE-phi2X4-Top2 时,在第三阶段moe_loss 一直在16附近波动,想问下这是否正常
Question
作者你好,很感谢你们的工作!我在复现MoE-phi2X4-Top2 时,在第三阶段moe_loss 一直在16附近波动,想问下这是否正常