search

wznpub / MMA_Regularization

official code for paper "MMA Regularization: Decorrelating Weights of Neural Networks by Maximizing the Minimal Angles"
MIT License
12 stars 2 forks source link

关于MMA #1

Closed liuqi123123 closed 3 years ago

liuqi123123 commented 3 years ago

你好，我把MMA损失函数加到网络中，结果loss值一直是负数，请问这正常吗

wznpub commented 3 years ago

你好，我把MMA损失函数加到网络中，结果loss值一直是负数，请问这正常吗

抱歉，回复晚了。

这是正常的。因为MMA loss使用的是最小夹角的负值，这样随着模型的训练，才能使最小夹角变大。我们关心的是优化所要达到的目的。

如果你想看原始的loss的变化，可以只plot原始的loss，不要plot二者的加和。

liuqi123123 commented 3 years ago

哦哦，谢谢了，我觉得你的方法在很多领域可以通用。真棒！

wznpub commented 3 years ago

哦哦，谢谢了，我觉得你的方法在很多领域可以通用。真棒！

谢谢你。

如果方便，希望能够给我一些使用的反馈啊。哈哈~

liuqi123123 commented 3 years ago

那是必须的！