What do Models Learn from Question Answering Datasets?

https://twitter.com/DL_Hacks/status/1319595674279829504

質問応答タスクでモデルが何を学習しているのかを調べるために複数のデータセットに対して各種ablationを行った結果，モデルはショートカットを学習しているだけで文章や質問の理解をしていないことを示唆する結果が得られた．https://t.co/mS1RYMIIMG
— DLHacks (@DL_Hacks) October 23, 2020

https://www.slideshare.net/DeepLearningJP2016/dlwhat-do-models-learn-from-question-answering-datasets-238947266 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ What do Models Learn from Question Answering Datasets? Kazutoshi Shinoda, Aizawa Lab 2. 書誌情報 • What do Models Learn from Question Answering Datasets? • 著者: Priyanka Sen, Amir Saffari • 所属: Amazon Alexa • EMNLP 2020 long 2 概要 • 背景 – QAモデルが本当に読解できるようになったのかはまだよくわかっていない • 何をしたか – 5つのQAデータセット・6つのタスクで，モデルが何を学習しているのかについて調査を行った • 何がわかったか – あるデータセットから他のデータセットにはうまく汎化できない – 読解を妨げるような編集に対してなぜか頑健 – 質問文への簡単な編集にはうまく対処できていない • What do Models Learn from Question Answering Datasets? – モデルはただ質問と文章の語彙の重複やentity typeについての単純なヒューリスティックを学習しているだけで，読解をしているとはあまり言えない

morioka / reading

What do Models Learn from Question Answering Datasets? #37