Sharpness-Aware Minimization for Efficiently Improving Generalization

[DaikiTanak]

https://arxiv.org/abs/2010.01412

[DaikiTanak]

Qiita 解説：https://qiita.com/omiita/items/f24e4f06ae89115d248e

[DaikiTanak]

現在のパラメータの周辺(l-pノルムで制限)でlossが最大となるパラメータを求める。そのパラメータでの勾配を使って現在のパラメータを更新する。