Open ymym3412 opened 5 years ago
AdvEntuRe: Adversarial Training for Textual Entailment with Knowledge-Guided Examples Dongyeop Kang1 Tushar Khot2 Ashish Sabharwal2 Eduard Hovy1
Textual Entailmentを解くためにGANとexternal knowledgeを利用した手法
敵対的学習を利用することでモデルの頑健性を高める
既存のTextual EntailmentのSOTAモデルは、negation(notなどの否定表現)が入ったり主語と目的語が入れ替わったりするだけで誤判断をしてしまう。 そこでて敵対的学習を行うことでモデルの性能向上と頑健性の向上を狙う。 またTextual EntailmentのデータオーグメンテーショんのためにWordNetといったexternal knowledgeやルールベースでデータを増やす工夫もしている
SNLIやSciTailのタスクで敵対的学習を行わないモデルよりも改善が見られた。 また学習に使えるデータ数が少ない場合でも、データオーグメンテーションのおかげもあり性能の改善幅が大きい
学習データにないような否定表現に対する頑健性はあるのか
Natural language inference over interaction space Yichen Gong, Heng Luo, Jian Zhang
0. 論文
AdvEntuRe: Adversarial Training for Textual Entailment with Knowledge-Guided Examples Dongyeop Kang1 Tushar Khot2 Ashish Sabharwal2 Eduard Hovy1
1. どんなもの?
Textual Entailmentを解くためにGANとexternal knowledgeを利用した手法
2. 先行研究と比べてどこがすごい?
敵対的学習を利用することでモデルの頑健性を高める
3. 技術や手法のキモはどこ?
既存のTextual EntailmentのSOTAモデルは、negation(notなどの否定表現)が入ったり主語と目的語が入れ替わったりするだけで誤判断をしてしまう。 そこでて敵対的学習を行うことでモデルの性能向上と頑健性の向上を狙う。 またTextual EntailmentのデータオーグメンテーショんのためにWordNetといったexternal knowledgeやルールベースでデータを増やす工夫もしている
4. どうやって有効だと検証した?
SNLIやSciTailのタスクで敵対的学習を行わないモデルよりも改善が見られた。 また学習に使えるデータ数が少ない場合でも、データオーグメンテーションのおかげもあり性能の改善幅が大きい
5. 議論はある?
学習データにないような否定表現に対する頑健性はあるのか
6. 次に読むべき論文は?
Natural language inference over interaction space Yichen Gong, Heng Luo, Jian Zhang