search

GCYZSL / MoLA

89 stars 3 forks source link

关于辅助损失处理部分 #16

Closed lhyscau closed 2 weeks ago

lhyscau commented 2 weeks ago

在mola_modeling_llama_hacked.py的第1319行，这里的obalance为false，因此aux_loss并没有加入到loss中进行反向传播

GCYZSL commented 2 weeks ago

您好，谢谢您对代码的检查！您可以按照我们在readme里的描述，将obalance 设置为True，就可以加入aux_loss到训练之中。 谢谢！