Annotation Artifacts in Natural Language Inference Data

[icoxfog417]

一言でいうと

Aという文があるとき文BがAとどういう関係か(強調、反対など)を推定するタスクのデータセットについて、Aだけで推定可能という話。代表的なSNLI/MultiNLIで、互いに半分以上は推定可能だった。これは、クラウドソーシングで文を作る際Aをあらかじめ強調しやすい文にするなどされていることによるという

論文リンク

https://arxiv.org/abs/1803.02324

著者/所属機関

Suchin Gururangan, Swabha Swayamdipta, Omer Levy, Roy Schwartz, Samuel R. Bowman, Noah A. Smith

• University of Washington
• Carnegie Mellon University
• Allen Institute for Artificial Intelligence
• New York University

投稿日付(yyyy/MM/dd)

2018/3/6

概要

新規性・差分

手法

結果

コメント

[icoxfog417]

関連の報告が相次ぐ。SNLIを使う際は要注意。

• Performance Impact Caused by Hidden Bias of Training Data for Recognizing Textual Entailment
• Hypothesis Only Baselines in Natural Language Inference