search

knok / arxiv-memo

My arxiv papers memo
0 stars 0 forks source link

Model Explainability in Deep Learning Based Natural Language Processing #133

Open knok opened 3 years ago

knok commented 3 years ago

Shafie Gholizadeh, Nengfeng Zhou

https://arxiv.org/abs/2106.07410v1

概要

Layer-wise Relevance Propagation (LRP)という判断根拠の可視化手法をNLPに適用した話。

手法自体はかなり前からあるもので例えばChainerで実装した人がいる https://qiita.com/likeman/items/6ebee15e72ef1a9f3c03

Transformersにも実装してほしいというリクエストはあった https://github.com/huggingface/transformers/issues/2479

PyTorch実装もあるが対象が限定されている(torch.nn.Sequential, torch.nn.Linear, torch.nn.Conv2d) transformersでどこまで見られるかは試してみないとわからない。 https://github.com/fhvilshoj/TorchLRP