Predicting the Generalization Gap in Deep Networks with Margin Distributions

[icoxfog417]

一言でいうと

DNNの汎化誤差を推定する手法の研究。SVMにおけるマージンをヒントに、決定境界(正しいクラスと次点のクラスの予測確率が五分五分になる点)から、予測結果が変わらないギリギリの点までの距離を、テイラー展開で近似する(一次近似)。各レイヤでこの計算を行い、マージンとテスト精度の相関を示した。

論文リンク

https://arxiv.org/abs/1810.00113

著者/所属機関

Yiding Jiang, Dilip Krishnan, Hossein Mobahi, Samy Bengio

• Google Research

投稿日付(yyyy/MM/dd)

2018/9/28

概要

新規性・差分

手法

結果

コメント

公式ブログ https://ai.googleblog.com/2019/07/predicting-generalization-gap-in-deep.html

[icoxfog417]

実装 https://github.com/google-research/google-research/tree/master/demogen