Claude-Liu / ReLM

Rephrasing Language Model for CSC (AAAI 2024)
34 stars 4 forks source link

您好!我在使用您的参数运行ecspell任务时发现eval_loss和loss差距较大,特此请教 #3

Closed Duer666 closed 3 months ago

Claude-Liu commented 5 months ago

感谢您的题问! 之前的代码在计算eval_loss 的时候label中没有mask不参与loss计算的前半部分。这个bug目前已经修改。 这个bug并不影响训练时的梯度传播,参数更新以及测试时的p, r, f1的计算。