Open futakw opened 4 years ago
https://arxiv.org/abs/1905.10626
・adversarial exampleに対する脆弱性に関して、Softmax Cross Entropy Lossの限界を示し、MMC Lossを提案した。 ・よりきれいに、しっかりとfeatureの分布が分かれるようにモデルに学習させることで、AEに対する脆弱性を改善した。 ↓featureを二次元マッピングした図
・ロス関数に注目した論文は珍しい。
・あらかじめ、n次元（クラス数）空間においてそれぞれの点の距離が最大となるような座標の位置を計算しておき、その座標に、対応する番号のラベルのfeatureが近づくように、学習させる。 ・つまりクラス数が決まっている分類問題にしか適応できない。
・しっかりと離れるようにfeature embedding することの重要性を示唆した。 ・教師あり学習ではなく、教師なしで学習した場合、生成モデルで学習した場合のfeature embeddingはどうだろうか？ ・また距離学習によって得たfeature embeddingはどうだろうか？ ->Metric Learning for Adversarial Robustness 2019 -> Adversarial Learning with Margin-based Triplet Embedding Regularization [ICCV2019]
論文リンク
https://arxiv.org/abs/1905.10626
概要
・adversarial exampleに対する脆弱性に関して、Softmax Cross Entropy Lossの限界を示し、MMC Lossを提案した。 ・よりきれいに、しっかりとfeatureの分布が分かれるようにモデルに学習させることで、AEに対する脆弱性を改善した。 ↓featureを二次元マッピングした図
先行研究との差異
・ロス関数に注目した論文は珍しい。
手法のキモ
・あらかじめ、n次元（クラス数）空間においてそれぞれの点の距離が最大となるような座標の位置を計算しておき、その座標に、対応する番号のラベルのfeatureが近づくように、学習させる。 ・つまりクラス数が決まっている分類問題にしか適応できない。
評価方法
議論
・しっかりと離れるようにfeature embedding することの重要性を示唆した。 ・教師あり学習ではなく、教師なしで学習した場合、生成モデルで学習した場合のfeature embeddingはどうだろうか？ ・また距離学習によって得たfeature embeddingはどうだろうか？ ->Metric Learning for Adversarial Robustness 2019 -> Adversarial Learning with Margin-based Triplet Embedding Regularization [ICCV2019]
関連論文