[2017] Understanding Black-box Predictions via Influence Functions - Githubissues

karakuri-ai / paper-readings

repository to research the machine learning papers

2 stars 1 forks source link

[2017] Understanding Black-box Predictions via Influence Functions #55

Open IkokObi opened 4 years ago

IkokObi commented 4 years ago

ざっくり言うと

DNNなどのブラックボックス関数に対して，推論の根拠に寄与している学習データを特定する手法の提案
モデルの説明のみでなく，adversarialデータの生成，モデルのデバッグ，データセットのミスラベルの特定にも応用可能

キーワード

model explanation
deep neural network
adversarial data

1. 情報

論文リンク

http://proceedings.mlr.press/v70/koh17a.html

著者

Pang Wei Koh, Percy Liang

投稿日付

2017/3/14

2. 先行研究と比べてどこがすごい？

機械学習モデル(主にDNN)の推論に対して，どの学習データが影響を与えているかを調べた点

3. 技術や手法のキモはどこ？

「ある学習データが存在しなかったら，どうなっていたか」という問いに対して，統計学で研究されていた"influence functions"を応用した点
逆行列の計算などで計算量が問題となるが，いくつかの効率的な近似手法を適用した点

4. どうやって有効だと検証した？

真面目にleave-one-out学習を行なった場合と比較し，提案手法が正確に計算できていることを確認
"influence functions"の仮定に含まれる関数の凸性や二回微分が可能である点を緩和しても有効であることを確認
4つのUse Caseに対して有用であることを示した

5. 議論はある？

本論文では1つの学習データの削除or摂動を考えたが，複数の学習データをまとめて考える方向性を検討

6. 次に読むべき論文は？

Learning Important Features Through Propagating Activation Differences
- Avanti Shrikumar, Peyton Greenside, Anshul Kundaje
- 2017/4/10
- https://arxiv.org/abs/1704.02685
- "Not just a black box: Learning important features through propagating activation differences"の最新版
- 本文中で「モデルの理解が新しい科学の発見につながる」という点で引用されていた

IkokObi commented 4 years ago

7. 実装の詳細

ある学習データzが無かった場合にモデルがどうなったかを考えたいが，leave-one-out学習を全てのデータに対して行うのはとても計算が重い
良い近似として"Influence functions"
zが入っていない状況で，zを学習データに加えるとz_testの予測誤差にどれだけ影響を与えるか
zにノイズを加えると，z_testの予測誤差にどれだけ影響を与えるか
計算量が重い逆行列の計算では，共役勾配法や確率的に収束する方法を用いている
SVMやreluのように勾配が計算できない場合は，形が似ていて勾配が計算できる方法で近似している（SVMで精度検証あり）

IkokObi commented 4 years ago

8. データセット

MNIST
ImageNet
20K diabetic patients from 100+ US hospitals (Impact of HbA1c Measurement on Hospital Readmission Rates: Analysis of 70,000 Clinical Database Patient Records)
Enron1 spam dataset (Spam filtering with naive Bayes – which naive Bayes?)

IkokObi commented 4 years ago

9. 結果の詳細

行なっている検証は以下の通り
- "Influence functions"と"leave-one-out学習の精度比較
- "Influence functions"が仮定している最適化の凸性を緩めた場合の精度
- 微分が不可能な関数の場合の精度
示しているUse Casesは以下の4つ
1. 推論にどの学習データが影響を与えているかを調べることによる，モデルの理解
2. 推論への影響が大きくなるような学習データを調べることによる，adversarialデータ生成
3. 推論を誤っているデータの推論根拠を調べることによる，domain mismatchの検出
4. 推論への影響が大きいデータを調べることによる誤ラベルデータの検出
i.において，魚と犬の分類をRBF SVMとInception v3で行い，推論の根拠となった画像の比較

IkokObi commented 4 years ago

雑感&メモ

ICLR 2017のベストペーパー
学習データがモデルに与える影響というのは新しい視点だと感じた