Distillation as a Defense to Adversarial Perturbations against Deep Neural Networks [2016]

[Sosuke115]

論文リンク

https://arxiv.org/pdf/1511.04508.pdf

概要

Knowledge DistillationをAdversarial Exampleの防御手段として利用した論文

手法のキモ

生徒モデルを教師モデルと同じアーキテクチャとし、教師モデルの学習時と知識蒸留時は温度Tつきsoftmaxを通した後のクロスエントロピーロスを取る。（テスト時はT=1にする）

知識蒸留を行ったモデルは、クラス間関係の情報も学べ（black knowledge)、過度にデータに適応しすぎないため、学習データ外に対しての一般化能力も期待される

議論

何故蒸留によりロバスト性が向上したのかについて

1. net work training
2. model sensitivity
3. the generalization capabilities of a DNN

の3つの観点から議論している

知見メモ

• softmaxの温度Tは無限に飛ばすと1/Nに近く（確率分布を和らげる）、0に近いほど偏った分布になる

• 温度Tはどうやって設定しているのか ハイパラとして色々試している。

• クリーンデータに対しても精度があまり落ちないことを確認している。

• 敵対的サンプル失敗率とは

関連サイト

http://fireflower.hatenablog.com/entry/2017/01/31/195241

[Sosuke115]

関連論文

Towards Evaluating the Robustness of Neural Networks defensive distillationを破った論文

Ensemble Adversarial Training: Attacks and Defenses 他のモデルからの摂動でデータ拡張しadversarial training

Defensive Distillation is Not Robust to Adversarial Examples