search

PaddlePaddle / Knover

Large-scale open domain KNOwledge grounded conVERsation system based on PaddlePaddle
Apache License 2.0
674 stars 131 forks source link

`entropy_loss` 在训练过程中几乎不变，都是 -3.0 左右 #101

Closed cingtiye closed 2 years ago

cingtiye commented 2 years ago

您好。请问 entroy_loss 训练过程中几乎不变，可能是哪个方面有问题？其他两个loss都会缓慢下降。 非常期待得到回复。 谢谢~

sserdoubleh commented 2 years ago

entropy_loss的最低值应该就是-3.0左右，均匀分布的时候entropy_loss最低，如果你在args里面加了use_entropy=True，那应该会维持这个情况，需要调整entropy_loss的系数才会，让其变化