ConjNLI: Natural Language Inference Over Conjunctive Sentences

https://arxiv.org/abs/2010.10418

EMNLP2020

Swarnadeep Saha, Yixin Nie, Mohit Bansal

UNC Chapel Hill

Reasoning about conjuncts in conjunctive sentences is important for a deeper understanding of conjunctions in English and also how their usages and semantics differ from conjunctive and disjunctive boolean logic. Existing NLI stress tests do not consider non-boolean usages of conjunctions and use templates for testing such model knowledge. Hence, we introduce ConjNLI, a challenge stress-test for natural language inference over conjunctive sentences, where the premise differs from the hypothesis by conjuncts removed, added, or replaced. These sentences contain single and multiple instances of coordinating conjunctions ("and", "or", "but", "nor") with quantifiers, negations, and requiring diverse boolean and non-boolean inferences over conjuncts. We find that large-scale pre-trained language models like RoBERTa do not understand conjunctive semantics well and resort to shallow heuristics to make inferences over such sentences. As some initial solutions, we first present an iterative adversarial fine-tuning method that uses synthetically created training data based on boolean and non-boolean heuristics. We also propose a direct model advancement by making RoBERTa aware of predicate semantic roles. While we observe some performance gains, ConjNLI is still challenging for current methods, thus encouraging interesting future work for better understanding of conjunctions. Our data and code are publicly available at: this https URL

ConjNLI：接続詞文に対する自然言語推論 Swarnadeep Saha、Yixin Nie、Mohit Bansal 接続詞文の接続詞についての推論は、英語の接続詞をより深く理解するために、またそれらの使用法と意味論が接続詞および論理和のブール論理とどのように異なるかについて重要です。既存のNLIストレステストは、接続詞の非ブール使用法を考慮せず、そのようなモデル知識をテストするためのテンプレートを使用します。したがって、接続詞を削除、追加、または置換することによって前提が仮説とは異なる、接続詞文に対する自然言語推論のチャレンジストレステストであるConjNLIを紹介します。これらの文には、数量詞、否定を使用して接続詞（ "and"、 "or"、 "but"、 "nor"）を調整し、接続詞に対してブール値と非ブール値の多様な推論を要求する単一および複数のインスタンスが含まれています。RoBERTaのような大規模な事前トレーニング済み言語モデルは、接続詞のセマンティクスを十分に理解しておらず、そのような文を推論するために浅いヒューリスティックに頼っています。いくつかの初期ソリューションとして、最初に、ブールヒューリスティックと非ブールヒューリスティックに基づいて合成的に作成されたトレーニングデータを使用する、反復的な敵対的微調整方法を示します。また、RoBERTaに述語の意味的役割を認識させることにより、直接的なモデルの進歩を提案します。いくつかのパフォーマンスの向上が見られますが、ConjNLIは現在の方法に挑戦しているため、接続詞をよりよく理解するための興味深い将来の作業を奨励しています。当社のデータとコードは、次の場所で公開されています。最初に、ブールヒューリスティックと非ブールヒューリスティックに基づいて合成的に作成されたトレーニングデータを使用する、反復的な敵対的微調整方法を示します。また、RoBERTaに述語の意味的役割を認識させることにより、直接的なモデルの進歩を提案します。いくつかのパフォーマンスの向上が見られますが、ConjNLIは現在の方法に挑戦しているため、接続詞をよりよく理解するための興味深い将来の作業を奨励しています。当社のデータとコードは、次の場所で公開されています。最初に、ブールヒューリスティックと非ブールヒューリスティックに基づいて合成的に作成されたトレーニングデータを使用する、反復的な敵対的微調整方法を示します。また、RoBERTaに述語の意味的役割を認識させることにより、直接的なモデルの進歩を提案します。いくつかのパフォーマンスの向上が見られますが、ConjNLIは現在の方法に挑戦しているため、接続詞をよりよく理解するための興味深い将来の作業を奨励しています。当社のデータとコードは、次の場所で公開されています。このhttpsURL

morioka / reading

ConjNLI: Natural Language Inference Over Conjunctive Sentences #5