Sequence-Level Knowledge Distillation [2016]

[Sosuke115]

論文リンク

https://arxiv.org/pdf/1606.07947.pdf

概要

知識蒸留をトークンレベル、文レベルでNMTに適用 パラメータを少なくして学習の高速化やBLEUスコアの向上を確認している。

先行研究との差異

手法のキモ

NMTに知識蒸留を適用

毎トークンごとの語彙数次元の分類タスクに適用されることになる（トークンレベル）に加えて文レベルでの知識蒸留を考案。

文レベルでの知識蒸留では、教師モデルにおいてbeam searchで生成された文を教師文として、それとのクロスエントロピーロスをsoft lossとする。

上図一番右の例では、beam searchで生成された候補文に対して、実際の正解文との類似度（BLEU等）が高い候補を教師文とする。

[Sosuke115]

関連論文

• A Teacher-Student Framework for Zero-Resource Neural Machine Translation
• Cross-lingual Distillation for Text Classification
• Explaining Sequence-Level Knowledge Distillation as Data-Augmentation for Neural Machine Translation
• Distilling Knowledge Learned in BERT for Text Generation

[Sosuke115]

知見メモ

• トークンレベルでの知識蒸留によるロスと正解文とのロスの比率は1:1（α=0.5,0.9を試して0.5がよかった）
• トークンレベルでの知識蒸留で隠れ層の情報も知識蒸留に利用してみたが同じような結果だった
• センテンスレベル知識蒸留1では K=5でのビームサーチ
• センテンスレベル知識蒸留2では K=35でのビームサーチ