Open ymym3412 opened 5 years ago
Evaluating neural network explanation methods using hybrid documents and morphosyntactic agreement Nina Poerner, Benjamin Roth & Hinrich Schutze
NLPモデルの説明手法「LIMSSE」の提案
LIMEの拡張であるためモデルに依存しない
LIMEをベースにしたモデルの説明手法「LIMSSE」を提案した。 LIMEではBoWを使ってサンプリングを行うが、RNNやCNNでは単語の並びが重要であるためそのままLIMEを適用することができない。 そこで文中からランダムな窓幅でトークンを抜き出してサンプリングしたデータとすることでLIMEを拡張し、CNNやRNN向けに適用することを可能にした。
クラスの識別にどの単語が寄与したかを当てるタスクや、動詞の人称系を予測するタスクでlocal/globalな説明性を試し、LRPやDeepLIFTよりよい性能を示した。
globalな情報を用いるタスクではDeepLIFTなどにまだ分がある
LRP On pixel-wise explanations for non-linear classifier decisions by layer-wise relevance propagation Sebastian Bach, Alexander Binder, Gregoire Mon- ´ tavon, Frederick Klauschen, Klaus-Robert Muller, ¨ and Wojciech Samek
DeepLIFT [1704.02685] Learning Important Features Through Propagating Activation Differences Avanti Shrikumar, Peyton Greenside, Anshul Kundaje
0. 論文
Evaluating neural network explanation methods using hybrid documents and morphosyntactic agreement Nina Poerner, Benjamin Roth & Hinrich Schutze
1. どんなもの？
NLPモデルの説明手法「LIMSSE」の提案
2. 先行研究と比べてどこがすごい？
LIMEの拡張であるためモデルに依存しない
3. 技術や手法のキモはどこ？
LIMEをベースにしたモデルの説明手法「LIMSSE」を提案した。 LIMEではBoWを使ってサンプリングを行うが、RNNやCNNでは単語の並びが重要であるためそのままLIMEを適用することができない。 そこで文中からランダムな窓幅でトークンを抜き出してサンプリングしたデータとすることでLIMEを拡張し、CNNやRNN向けに適用することを可能にした。
4. どうやって有効だと検証した？
クラスの識別にどの単語が寄与したかを当てるタスクや、動詞の人称系を予測するタスクでlocal/globalな説明性を試し、LRPやDeepLIFTよりよい性能を示した。
5. 議論はある？
globalな情報を用いるタスクではDeepLIFTなどにまだ分がある
6. 次に読むべき論文は？
LRP On pixel-wise explanations for non-linear classifier decisions by layer-wise relevance propagation Sebastian Bach, Alexander Binder, Gregoire Mon- ´ tavon, Frederick Klauschen, Klaus-Robert Muller, ¨ and Wojciech Samek
DeepLIFT [1704.02685] Learning Important Features Through Propagating Activation Differences Avanti Shrikumar, Peyton Greenside, Anshul Kundaje