Breaking the Beam Search Curse: A Study of (Re-)Scoring Methods and Stopping Criteria for Neural Machine Translation

[chikurin66]

一言でいうと

Beam Search時にRescoringする手法をいくつか考え，BLEU向上に繋がった．

論文リンク

http://aclweb.org/anthology/D18-1342

著者/所属機関

Yilin Yang (1), Liang Huang (1, 2), Mingbo Ma (1, 2) (1) Oregon State University Corvallis, OR, USA (2) Baidu Research Sunnyvale, CA, USA

投稿日付(yyyy/MM/dd)

概要

一般にNMTでBeam sizeをあげると翻訳の質を下げてしまうので，Beam sizeは3や5にする． （これをBeam searchの呪いと呼ぶ） Beam searchの呪いの原因を突き止め，新たなリスコアリング手法を提案した． Chinese-Englishタスクでhyperparameter-freeな手法で比べ+2.0 BLEUを示した．

新規性・差分

この論文では

• なぜBeam searchの呪いが起きるかを説明した．
• 既存のリスコアリング手法を見直し，新たな手法を提案した．それがBeam searchの呪いを打破した．
• 提案手法におけるStopping criteriaについても議論した．

手法

• Bounded Word-Reward 長くなりすぎを防ぐ

  

• Bounded Adaptive-Reward hyperparameterであるrを消す．

  

• BP-Norm BLEUスコアのbrevity penaltyにインスパイアされたリスコアリング．

結果

beam sizeが小さい時も大きい時も提案手法が勝つ．

[NomotoEriko]

ハイパーパラメータフリーなのは嬉しい