Closed kacky24 closed 5 years ago
NMTモデルのパラメータを、尤度最大化ではなく、評価指標（微分可能である必要なし、BLUEなど）に関して直接的に更新する手法の提案。
NMTの問題点の1つ：翻訳の質を評価する指標ではなく、訓練データの尤度最大化によって最適化される
よって、minimum risk training(MRT)を、NMTに導入し、問題の解決を試みる。
MRTにおけるロス(risk)は以下の式で求められる
(Δの部分が生成文yと正解ysのBLUE値、METEOR値など） しかし、これでは全candicates(Y(xs))を考慮しなければならず、候補が多い場合難しい
よって、全candidatesの中からsubsetをサンプリングする。
実験において、サンプル数は100程度あれば十分だった
attention base のRNNモデルのMLEをMRT(BLUE)に置き換えることで、BLUEだけでなく他の指標でもスコア向上 また、人の評価でも向上
アルゴリズム
http://aclweb.org/anthology/P/P16/P16-1159.pdf
ACL 2016
short summary
NMTモデルのパラメータを、尤度最大化ではなく、評価指標（微分可能である必要なし、BLUEなど）に関して直接的に更新する手法の提案。
NMTの問題点の1つ：翻訳の質を評価する指標ではなく、訓練データの尤度最大化によって最適化される
よって、minimum risk training(MRT)を、NMTに導入し、問題の解決を試みる。
MRTにおけるロス(risk)は以下の式で求められる
(Δの部分が生成文yと正解ysのBLUE値、METEOR値など） しかし、これでは全candicates(Y(xs))を考慮しなければならず、候補が多い場合難しい
よって、全candidatesの中からsubsetをサンプリングする。
実験において、サンプル数は100程度あれば十分だった
attention base のRNNモデルのMLEをMRT(BLUE)に置き換えることで、BLUEだけでなく他の指標でもスコア向上 また、人の評価でも向上
アルゴリズム
URL
http://aclweb.org/anthology/P/P16/P16-1159.pdf
year
ACL 2016