Open shimopino opened 4 years ago
[arXiv:1911.09665] Adversarial Examples Improve Image Recognition
Cihang Xie, Mingxing Tan, Boqing Gong, Jiang Wang, Alan Yuille, Quoc V. Le
敵対的サンプルをCNNモデルの精度向上に活用するAdvPropを提案した。本手法ではデータの分布が異なる仮定のもと、敵対的サンプルと学習データで使用するバッチ正則化を分けている。外部データをせずにImageNetのtop1-accuracyで85.5%を達成した。
既存の研究でMNISTなどの小さなデータセットでは敵対的サンプルを使用して性能向上を達成できていたが、ImageNetなどの大規模データセットでは敵対的サンプルを使用するとCleanなデータに対する性能が悪化していた。
既存の手法の問題点として、本来分布の異なる実データと敵対的サンプルを学習で同じように使用していることだと仮定し、それぞれ異なるバッチ正則化を適用するAdvPropを提案した。
両方のサンプルを同じように扱うMadryの手法と比較すると、単純に敵対的サンプルで事前学習を行った後Cleanデータでfine-tuningを行うと性能が改善できている。しかしCleanデータのみを使用して学習させたモデルよりも優れているとは言えなかった。
通常の学習では、学習データxと正解ラベルyに対して以下の関数を最小化することを目的としている。
Madryの手法では学習データxに対して敵対的な摂動εを加えたデータに対して最適化を行う。
本手法ではcleanなデータと敵対的サンプルの両方に対して最適化を行っていくことを目指すため、以下の関数の最適化を行う。
しかしこの関数をそのまま学習時に再現したとしても、cleanデータと敵対的サンプルの分布の違いにより、cleanデータのみを使用した場合よりも性能が悪化する場合がある。
バッチ正則化は、入力される特徴量は同一あるいは似た分布からサンプリングされたものだという仮定がある。
しかしバッチ正則化をそれぞれのミニバッチに適用していくと、ミニバッチに異なる分布のデータが含まれていると正しい統計情報を捉えることができずに性能が悪化する。
本手法では異なる分布を有するデータに対して異なるバッチ正則化を適用することで、それぞれの分布の統計情報を正しく捉えることができるようになる。
学習時のアルゴリズムは以下になる。まずは追加したバッチ正則化から敵対的サンプルを生成し、cleanデータと敵対的サンプルの損失を計算し、最終的に2つを組み合わせている。
ImageNetデータに対して通常の学習方法とAdvPropを比較した。どのモデルに対しても効果を発揮しており、特にモデルが大きくなっていくとその効果がより顕著になっている。
画像に歪みを導入したImageNet-Cやテクスチャ情報を導入したStylized-ImageNetに対して性能を比較すると、どのモデルに対しても効果を発揮している。
既存の敵対的学習手法と比較すると、どのモデルに対しても既存手法を上回っており、それぞれ異なる分布のデータを異なるバッチ正則化で取り扱っている効果が出ている。
cleanデータと敵対的サンプルで本当に異なる分布の統計情報を捉えることができているか確認するために、それぞれのバッチ正則化のみを使用したモデルの性能を比較した。
達成した精度が異なっており、これがデータの分布間の差となっている。
https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet
shimopino
commented
4 years ago shimopino
commented
4 years ago
論文へのリンク
[arXiv:1911.09665] Adversarial Examples Improve Image Recognition
著者・所属機関
Cihang Xie, Mingxing Tan, Boqing Gong, Jiang Wang, Alan Yuille, Quoc V. Le
投稿日時（YYYY-MM-DD）
1. どんなもの？
敵対的サンプルをCNNモデルの精度向上に活用するAdvPropを提案した。本手法ではデータの分布が異なる仮定のもと、敵対的サンプルと学習データで使用するバッチ正則化を分けている。外部データをせずにImageNetのtop1-accuracyで85.5%を達成した。
2. 先行研究と比べてどこがすごいの？
既存の研究でMNISTなどの小さなデータセットでは敵対的サンプルを使用して性能向上を達成できていたが、ImageNetなどの大規模データセットでは敵対的サンプルを使用するとCleanなデータに対する性能が悪化していた。
既存の手法の問題点として、本来分布の異なる実データと敵対的サンプルを学習で同じように使用していることだと仮定し、それぞれ異なるバッチ正則化を適用するAdvPropを提案した。
3. 技術や手法の"キモ"はどこにある？
3.1 既存手法の問題点
両方のサンプルを同じように扱うMadryの手法と比較すると、単純に敵対的サンプルで事前学習を行った後Cleanデータでfine-tuningを行うと性能が改善できている。しかしCleanデータのみを使用して学習させたモデルよりも優れているとは言えなかった。
3.2 Adversarial Training
通常の学習では、学習データxと正解ラベルyに対して以下の関数を最小化することを目的としている。
Madryの手法では学習データxに対して敵対的な摂動εを加えたデータに対して最適化を行う。
本手法ではcleanなデータと敵対的サンプルの両方に対して最適化を行っていくことを目指すため、以下の関数の最適化を行う。
しかしこの関数をそのまま学習時に再現したとしても、cleanデータと敵対的サンプルの分布の違いにより、cleanデータのみを使用した場合よりも性能が悪化する場合がある。
3.3 Disentangled Learning via An Auxiliary BN
バッチ正則化は、入力される特徴量は同一あるいは似た分布からサンプリングされたものだという仮定がある。
しかしバッチ正則化をそれぞれのミニバッチに適用していくと、ミニバッチに異なる分布のデータが含まれていると正しい統計情報を捉えることができずに性能が悪化する。
本手法では異なる分布を有するデータに対して異なるバッチ正則化を適用することで、それぞれの分布の統計情報を正しく捉えることができるようになる。
3.4 AdvProp
学習時のアルゴリズムは以下になる。まずは追加したバッチ正則化から敵対的サンプルを生成し、cleanデータと敵対的サンプルの損失を計算し、最終的に2つを組み合わせている。
4. どうやって有効だと検証した？
ImageNetデータに対して通常の学習方法とAdvPropを比較した。どのモデルに対しても効果を発揮しており、特にモデルが大きくなっていくとその効果がより顕著になっている。
画像に歪みを導入したImageNet-Cやテクスチャ情報を導入したStylized-ImageNetに対して性能を比較すると、どのモデルに対しても効果を発揮している。
既存の敵対的学習手法と比較すると、どのモデルに対しても既存手法を上回っており、それぞれ異なる分布のデータを異なるバッチ正則化で取り扱っている効果が出ている。
cleanデータと敵対的サンプルで本当に異なる分布の統計情報を捉えることができているか確認するために、それぞれのバッチ正則化のみを使用したモデルの性能を比較した。
達成した精度が異なっており、これがデータの分布間の差となっている。
5. 議論はあるか？
6. 次に読むべき論文はあるか？
論文情報・リンク