Open Harry-675 opened 4 years ago
您好,感谢您的工作,最近训练模型时用到了arcloss,得到的loss值是nan,请问您有遇到这个问题吗?另外cosloss看代码实现没有看到跟余弦、正弦相关的 计算,这个感觉跟定义不太一样。希望能得到您的解答!
arcloss 初期训练不稳定,可以先softmax预训练,然后finetune。
cosloss 论文中的定义是这样的,不需要计算cos/sin
您好,感谢您的工作,最近训练模型时用到了arcloss,得到的loss值是nan,请问您有遇到这个问题吗?另外cosloss看代码实现没有看到跟余弦、正弦相关的 计算,这个感觉跟定义不太一样。希望能得到您的解答!