Improved Language Modeling by Decoding the Past

[knok]

Siddhartha Brahma https://www.aclweb.org/anthology/P19-1142/

• RNNベースの言語モデルの性能向上を、新しい正規化手法によって実現
  • 過去にも正規化の工夫をする研究はあった
  • RNNベースでは過去の予測(出力)が次の単語の予測に用いられる
  • 対称性のある構造
• Past Decode Regularization (PDR)を提案
  • w_cは直前の単語に対する文脈
  • f_θrは非線形な関数で、単語分散表現の次元数dと同じベクトルを出力
  • 損失関数(PDR)
  • w_t+1 E はソフトな埋め込み表現のlookupに相当する
    • 単語の確率分布
  • 全体の損失関数
  • λ_CEはクロスエントロピー、λ_PDRは重み係数(ハイパーパラメータ)
• 実験
  • PTBとWikiText-2に対するperplexityで評価(単語単位)
  • PTBC, Hutter Prize Wikipedia Prize(Enwiki8)で評価(文字単位)
  • LSTMと、提案手法の正規化を入れたものとで比較
  • 既存の正規化手法とも比較
  • 同じパラメータ数のモデルでも、正規化を入れることでperplexity向上
  • 既存のSoTAモデル(Mixture-of-Softmax)にこの正規化を入れるだけでも効果あり
  • seq2seqやtransformerへの適用は今後の課題

[knok]

https://speakerdeck.com/kyoun/survey-of-pretrained-language-models-f6319c84-a3bc-42ed-b7b9-05e2588b12c7?slide=27 こちらで簡単に説明されている