Open ymym3412 opened 6 years ago
Towards Robust Neural Machine Translation Yong Cheng, Zhaopeng Tu, Fandong Meng, Junjie Zhai, Yang Liu
NMTの性能及び頑健性を高めるためにadversarial stability trainingを取り入れる。
Encoder-DecoderというNMTの構造さえあれば実現できるところ
NMTでは入力の一部を少し変えるだけで、翻訳文の意味が大きく変わってしまうという欠点がある。 そこで入力文にノイズを加えたx'を使い、「x-yの翻訳ロス」「x'-yの翻訳ロス」「x-x'の識別を行うDescriminatorロス」の3つを使うAdversarial Stability Trainingでモデルの頑健性を向上させる。
既存手法とBLEUベースで比較。 SOTAを記録し、汎化性能の向上にも役立っていることが分かる。 また入力文に入れるノイズの量を多くしても、性能が劣化しづらい。
どのロスも性能改善に貢献している
Synthetic and Natural Noise Both Break Neural Machine Translation Yonatan Belinkov, Yonatan Bisk
第10回最先端NLP勉強会での資料 https://docs.google.com/presentation/d/1actELiG07xHJxMfacWYlecLJwdHv654F-zkYgRlXxT8/edit#slide=id.p
ymym3412
commented
5 years ago ymym3412
commented
5 years ago
0. 論文
Towards Robust Neural Machine Translation Yong Cheng, Zhaopeng Tu, Fandong Meng, Junjie Zhai, Yang Liu
1. どんなもの？
NMTの性能及び頑健性を高めるためにadversarial stability trainingを取り入れる。
2. 先行研究と比べてどこがすごい？
Encoder-DecoderというNMTの構造さえあれば実現できるところ
3. 技術や手法のキモはどこ？
NMTでは入力の一部を少し変えるだけで、翻訳文の意味が大きく変わってしまうという欠点がある。 そこで入力文にノイズを加えたx'を使い、「x-yの翻訳ロス」「x'-yの翻訳ロス」「x-x'の識別を行うDescriminatorロス」の3つを使うAdversarial Stability Trainingでモデルの頑健性を向上させる。
4. どうやって有効だと検証した？
既存手法とBLEUベースで比較。 SOTAを記録し、汎化性能の向上にも役立っていることが分かる。 また入力文に入れるノイズの量を多くしても、性能が劣化しづらい。
5. 議論はある？
どのロスも性能改善に貢献している
6. 次に読むべき論文は？
Synthetic and Natural Noise Both Break Neural Machine Translation Yonatan Belinkov, Yonatan Bisk