Ensemble Distillation for Neural Machine Translation [2017]

[Sosuke115]

論文リンク

https://arxiv.org/abs/1702.01802

概要

NMTで知識蒸留を行った論文

手法のキモ

• *初期値のみ異なる複数の教師NMTモデルの出力確率分布の平均を用いて知識蒸留を行う
• 教師NMTモデルのビームサーチによる候補文から正解文にBLEUスコアが近い文を教師文とする知識蒸留を行う
• 学習の高速化のために、教師NMTモデルの翻訳結果にてTERスコア（エラー率の指標）が高いものを学習データから抜いて知識蒸留を行う

知見メモ

元の翻訳データと教師モデルによる翻訳データは両方使った方が良い

[Sosuke115]

関連論文

• Multilingual Neural Machine Translation with Knowledge Distillation
• Knowledge Distillation: A Survey