[2019] Plug and Play Language Models: A Simple Approach to Controlled Text Generation

[cfiken]

0. 論文

タイトル	Plug and Play Language Models: A Simple Approach to Controlled Text Generation
リンク	https://arxiv.org/abs/1912.02164
著者	Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, Rosanne Liu (UberAI)
投稿日付	ICLR2020

1. どんなもの？

テキスト生成の方向性をコントロールする手法である Plug and Play Language Model (PPLM) を提案。通常は大きな言語モデルの生成をある方向に誘導するには、そのドメインのデータを用意して finetuning したり、それ用のアーキテクチャを追加することが必要になるが、その場合方向性のターゲットが増えた場合に再学習が必要になる。 PPLM では、大きな言語モデル (GPT-2を使用) のパラメータなどは変えず、方向性のターゲット (Positive/Negative だったり、特定の話題カテゴリだったり)についての小さな分類器を用いて生成を調整するため、言語モデル部分の再学習は必要ない。 実験にて、特定の方向性に生成をコントロールできること、コントロールさせても言語が壊れないことを確認した。

2. 先行研究と比べてどこがすごい？

• 言語モデルによるテキスト生成のコントロールを Plug and Play に行うのは初。
• テキスト生成のコントロールを実現しつつ、生成したテキストの fluency は落ちていないことを実験で確認した。

3. 技術や手法のキモはどこ？

イメージ図 (Fig. 1)

• 言語モデルの attention layer 内 key と value を、小さい分類器 p(a|x) (a は方向性のターゲット)から得た gradient を用いて微修正することで生成の方向性を変える。
  • パラメータは変えずに key, value の activation 後の値を修正するので、言語モデル自体は変化しない。
• 言語モデルにおいて、各レイヤー i の各ステップ t までの全ての key と value を　K_t^i, V_t^i とし、H_t = [(K_t^1, V_t^1), ..., (K_t^L, V_t^L)] とする。この H_t を、 H_t + ΔH_t と修正することでモデルの出力をコントロールする。
  • ΔH_t はゼロで初期化し、次のように gradient ascent で更新される。
  • 
  • 修正された key/value で計算した logits から、次のトークンを生成する。
• コントロールにより生成した言語が言語モデルの出力からズレて、変なものになってしまう可能性があるのを、2つの工夫で防いでいる。
  • KL Divergence: 通常の言語モデルの logits と、修正を加えた logits 間の KLD をロスとして追加
  • Post-norm Geometric Mean Fusion: トークンのサンプリングを、元の言語モデルの分布と修正した分布の重み付き幾何平均から行う
  • ↑2つの工夫により、まずコントロール対象の生成をするように引っ張った後、言語モデルとして正しい生成を行えるように修正している (下図が分かりやすい)
  • 
• また、この仕組を用いて detoxification (悪意のある生成をしないようにする) の実験や、 story writing の実験を行ったりもしている。

4. どうやって有効だと検証した？

• 4つの提案モデル(B, BR, BC, BCR)で実験
  • B は元の GPT-2, R はサンプリングを r 回行って尤度の高いもの、C は H_t を修正しているもの。
  • 比較対象モデルとして、CTRL, GPT2-FT-RL, WD を使用
• コントロールの方向性を決める「小さな分類器」については、次の2つを試している
  • BoW attribute model
    • 事前に定義しておいた単語リストに含まれる単語数の合計の log.
    • 
  • discriminator attribute model
    • 言語モデルの出力に対して1層の整形レイヤで任意のターゲットに fit させたもの。
• 様々な実験結果において、コントロールが出来ていてかつ、生成が壊れていないことを確認。
  • 

5. 議論はある？

• この仕組で detoxification が例に挙げられているように、他にも応用先がありそう

6. 次に読むべき論文は？

• CTRL: A Conditional Transformer Language Model for Controllable Generation
  • https://arxiv.org/abs/1909.05858
  • Nitish Shirish Keskar, Bryan McCann, Lav R. Varshney, Caiming Xiong, Richard Socher (Salesforce Research)
  • コントロール用の token を入れて生成をコントロールする研究、比較モデルとして使われている