arXivTimes / arXivTimes

repository to research & share the machine learning articles
https://arxivtimes.herokuapp.com/
MIT License
3.89k stars 201 forks source link

The (Un)reliability of saliency methods #496

Open icoxfog417 opened 6 years ago

icoxfog417 commented 6 years ago

一言でいうと

DNNの判断根拠を出力する手法を、ネットワークの重みは同じだが扱う入力は異なる(一方は通常の入力で片方は反転させた入力を受け取るが、出力は同じで重みも同じ)ネットワークで説明が異なるか評価(入力不変性)。結果、出力への貢献度を算出して伝搬するスタイルの手法(LRPなどの)がNGだった。

論文リンク

https://arxiv.org/abs/1711.00867

著者/所属機関

Pieter-Jan Kindermans, Sara Hooker, Julius Adebayo, Maximilian Alber, Kristof T. Schütt, Sven Dähne, Dumitru Erhan, Been Kim

投稿日付(yyyy/MM/dd)

2017/11/2

概要

新規性・差分

手法

結果

については、入力不変性がキープされる(Network1/Network2で説明が変わらない)。

image

は、影響を受けてしまう。これらの手法は貢献度の算出に当たり基準点を決める必要があるが(Black/Zero)等はそれに該当、その選択次第では回避が可能になる。またPatternAttribution(#474)を使うことで回避可能。

image

コメント

"cause numerous methods to incorrectly attribute"と謳っている割にはかなり限定的な印象だった。

icoxfog417 commented 6 years ago

参照されているAxiomatic Attribution for Deep Networksの方が重要そう。評価手法についての詳細な記述がある。