Open futakw opened 3 years ago
"vulnerable feature" を判定し、そこをweight pruningすることで、robust feature だけ残す。それにより、SOTA robustnessを達成。 ANS-VS (Adversarial Neural Pruning with Vulnerability Suppression)。
https://arxiv.org/abs/1908.04355
・Vulnerable features の定義はシンプル。 ・normal input によるfeatureとadv input によるfeatureの距離の大きさ
・学習方法 重みパラメータθは、以下のロスで学習する。分類誤差+featureロバスト性
Pruning用のmask：Mは以下のロスで学習する。
PGD-ATよりもいい。
Featureそれぞれのロバスト性を評価してロスに加えるのは、BPFCの手法よりよさそう。 よりロバストなfeatureを得るように学習すると共に、weightをpruneしていくので、厳選されていくイメージ？
Achieving Adversarial Robustness via Sparsity. Adversarial robustness vs. model compression, or both?
ひとことで言うと
"vulnerable feature" を判定し、そこをweight pruningすることで、robust feature だけ残す。それにより、SOTA robustnessを達成。 ANS-VS (Adversarial Neural Pruning with Vulnerability Suppression)。
論文リンク
https://arxiv.org/abs/1908.04355
概要
・Vulnerable features の定義はシンプル。 ・normal input によるfeatureとadv input によるfeatureの距離の大きさ
・学習方法 重みパラメータθは、以下のロスで学習する。分類誤差+featureロバスト性
Pruning用のmask：Mは以下のロスで学習する。
結果
PGD-ATよりもいい。
議論
Featureそれぞれのロバスト性を評価してロスに加えるのは、BPFCの手法よりよさそう。 よりロバストなfeatureを得るように学習すると共に、weightをpruneしていくので、厳選されていくイメージ？
関連論文
Achieving Adversarial Robustness via Sparsity. Adversarial robustness vs. model compression, or both?