Trick Me If You Can: Adversarial Writing of Trivia Challenge Questions

[ymym3412]

0. 論文

Trick Me If You Can: Adversarial Writing of Trivia Challenge Questions Eric Wallace, Jordan Boyd-Graber

1. どんなもの？

QAシステムが回答するのが難しいが人間なら答えられる質問を人間が作成しそれを分析する

2. 先行研究と比べてどこがすごい？

QAシステムが間違えそうな質問を分析しているところ

3. 技術や手法のキモはどこ？

QAシステムの性能を評価するために、QAシステムでは回答が難しいが人間であれば回答できるchallengingな質問を作成し、それを使ってQAシステムの性能を評価する。 また問題を作成するためのUIも工夫している

4. どうやって有効だと検証した？

DAN, IR, RNNなどのモデルの性能を評価。 またchallengingな質問はどんな傾向の質問があるか(e.g. paraphraseなど)も分析した

5. 議論はある？

Triangulationはどんな対応の質問だろうか

6. 次に読むべき論文は？

[1711.01505] Towards Linguistically Generalizable NLP Systems: A Workshop and Shared Task Allyson Ettinger, Sudha Rao, Hal Daumé III, Emily M. Bender