Don’t Take the Premise for Granted: Mitigating Artifacts in Natural Language Inference

Yonatan Belinkov, Adam Poliak, Stuart Shieber, Benjamin Van Durme, Alexander Rush (Harvard University, Johns Hopkins University, Massachusetts Institute of Technology) https://www.aclweb.org/anthology/P19-1084/

Natural Language Inference(NLI)におけるデータセットのバイアスを低減する手法の提案
- データセットに由来するバイアス
- 仮説のみがあり、それを裏付ける前提情報がないことに由来するバイアス
- いわゆるアーティファクト, 不自然なノイズ
- 事実でない2つの文の関係性を推論するタスクで、事実情報がないのにこたえられてしまう問題
NLIタスクの定式化
- p_θ(y|P, H)
- 前提Pと仮説Hが存在した時に、ラベルがyである確率p()をハイパーパラメータθで表現
  - 前提エンコーダf_P,θ, 仮説エンコーダf_Hθを持つ
  - バイアスがある状態では、Pの内容によらずHのみからyが導出されてしまう
- そこで問題をかえる
- p_θ(P|H, y) 仮説Hとラベルyから得られる前提Pの確率
  - このような問題設定にすることでPを無視することができなくなる
  - ただし一般にPはセンテンス系列なので直接得るのが難しい
  - 式の正規化、近似
  - p(P|H)は定数になる
  - p(y|H)を推定すればよい
p(y|H)の推定方法
- 仮説のみの分類アプローチ (method 1)
- p_Φ,θ(y|H)とp_θ(y|P, H)を考える
  - 同じ単語埋め込みを用いる仮説エンコーダ f_H,θ を両方で用いる
- マルチタスク損失
- ネガティブサンプリングアプローチ (method 2)
- イエンゼンの不等式
- (P, H)のペアの代わりに一様分布からP'をサンプリング
- p_θ,Φ(y|P', H)を最大化
  - α、βはハイパーパラメータ
  - αはどれだけ負例を重視するか (0~1)
  - βは勾配反転重み
実験
- 合成データでの実験
- 既存のNLIデータセットでの評価 *Δが正であるものはベースラインを超えた精度
- method 1の方が全体的に安定
- 今後ほかのタスクへの応用が課題
実装 https://github.com/azpoliak/robust-nli

knok / acl-2019-reading

Don’t Take the Premise for Granted: Mitigating Artifacts in Natural Language Inference #129