Open yiskw713 opened 4 years ago
Julius Adebayo, Justin Gilmer, Michael Muelly, Ian Goodfellow, Moritz Hardt, Been Kim
NIPS2018
pdf 解説ブログ
CNNの判断根拠の説明手法(saliency method)の適切さを評価するための手法として，model parameter randomization test と data randomization test の二つの sanity check を提案している． 前者はモデルのパラメータを変える前と変えた後での saliency method の出力を比較する物で，その前後での出力が似ていれば，そのsaliency methodはパラメータの変化に対して敏感ではなく，モデルの説明としては不適切なものとなる． 一方後者は，データセットのラベルをランダムに変更したモデルと，正しいラベルで学習したモデルの saliency method の出力の比較を行うというもの．両者の出力が似ていれば，その saliency method は画像とラベルの関係性に依存しないため，モデルの説明として不適切となる．
勾配ベースの手法は，エッジ検出とかなり似ている．
パラメータをランダムに変えた場合，Grad-CAMはパラメータの変化の敏感(モデルに忠実)である一方で，他の手法はパラメータの変化にあまり影響を受けていない．
多くの勾配ベースの手法は，正しいラベルで学習した場合と，ラベルをランダムに変更した場合であまり変化が見られない．両者の saliency map に関するスピアマンの順位相関係数も Grad-CAM以外は大きな値を取っており，勾配ベースの saliency method はラベルと画像の関係に依存していないことがわかる．
Jan. 9th, 2020
INFO
author
Julius Adebayo, Justin Gilmer, Michael Muelly, Ian Goodfellow, Moritz Hardt, Been Kim
affiliation
conference or year
NIPS2018
link
pdf 解説ブログ
概要
CNNの判断根拠の説明手法(saliency method)の適切さを評価するための手法として，model parameter randomization test と data randomization test の二つの sanity check を提案している． 前者はモデルのパラメータを変える前と変えた後での saliency method の出力を比較する物で，その前後での出力が似ていれば，そのsaliency methodはパラメータの変化に対して敏感ではなく，モデルの説明としては不適切なものとなる． 一方後者は，データセットのラベルをランダムに変更したモデルと，正しいラベルで学習したモデルの saliency method の出力の比較を行うというもの．両者の出力が似ていれば，その saliency method は画像とラベルの関係性に依存しないため，モデルの説明として不適切となる．
検証
勾配ベースの手法は，エッジ検出とかなり似ている．
パラメータをランダムに変えた場合，Grad-CAMはパラメータの変化の敏感(モデルに忠実)である一方で，他の手法はパラメータの変化にあまり影響を受けていない．
多くの勾配ベースの手法は，正しいラベルで学習した場合と，ラベルをランダムに変更した場合であまり変化が見られない．両者の saliency map に関するスピアマンの順位相関係数も Grad-CAM以外は大きな値を取っており，勾配ベースの saliency method はラベルと画像の関係に依存していないことがわかる．
date
Jan. 9th, 2020