search

knok / arxiv-memo

My arxiv papers memo
0 stars 0 forks source link

Prevent the Language Model from being Overconfident in Neural Machine Translation #114

Open knok opened 3 years ago

knok commented 3 years ago

Mengqi Miao, Fandong Meng, Yijin Liu, Xiao-Hua Zhou, Jie Zhou

https://arxiv.org/abs/2105.11098v1

概要

NMTは流ちょうだが正しくない出力をしてしまうことがある。これは言語モデル(LM)が翻訳モデル(NMT)より強すぎるために起きる問題であるとし、NMT, LM間のマージンを定義。 image マージンに対する損失関数を追加することでこの問題に対応。 image 訓練は2段階で行う。 BLEUスコアでよい結果を出した。

実装は公開予定とのこと https://github.com/Mlair77/nmt_adequacy