Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer

[keimoriyama]

Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer

• author

• link

Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer

背景：なぜその問題を解決したいのか

• Attentionにより，人口的な視覚システムのパフォーマンスが異なるか検証したい
• 畳み込みNNのパフォーマンスはAttentionにより向上するのか?
• もっというと，教師ネットワークは教師ネットワークが画像のどこに注目しているかという情報を提供することで，生徒モデルのパフォーマンスを向上させることができるかを検証する

目的：どういう問題を解決したのか

既存の手法では，入力データに対する特徴を考慮して蒸留していない．

ここでは，画像の畳み込みに注目して蒸留をおこなった．

畳み込み演算の結果から画像のどこから特徴を抽出してクラス分類をしているかを計算し，この注目マップ（Attention map）を蒸留する

提案：解決に向けたキーアイデアは何か

何らかの演算によってAttention mapに相当するものを計算する．

このAttention mapを生徒モデルと教師モデル間で合わせるようにして学習させる

Attention mapの可視化

• Activation-Based Attention Transfer

隠れそうの発火の絶対値からAttentionを計算する

具体的な演算は以下の通り

• Gradient-Based Attention Transfer

勾配の値が，入力画像に対して出力のクラスラベルについてどのくらい重要かを示していることに注目したAttention

こちらでは，教師ネットワークの勾配と生徒ネットワークの勾配の値を近づけるように学習する

結果：結局問題は解決されたのか．新しくわかったことは？

他の蒸留手法よりも，誤分類率が少ない結果になった