tm4roon / survey

Survey on machine learning.

14 stars 1 forks source link

CTRL: A Conditional Transformer Language Model for Controllable Generation #62

Open tm4roon opened 4 years ago

tm4roon commented 4 years ago

CTRL: A Conditional Transformer Language Model for Controllable Generation

出力制御可能な言語モデルを提案。ドメインを表すラベル(Wikipedia, Book, Legal, ...)を先頭に付与することによって、出力制御可能な言語モデルの学習を行う。生成時には、ラベルとプロンプト(文書の書き出しの数単語)を入力し、次の単語を順次生成する。このとき、温度付きソフトマックスによりサンプリングを行う。また、単語の繰り返し生成を抑制するため、coverage mechanismを取り入れている。

ドメインを表すラベル以外にも、次のようにラベルとプロンプトを入力することにより、質問応答や翻訳タスクを行うことも可能である。

文献情報

著者: Nitish Shirish Keskar, Bryan McCann, Lav R. Varshney, Caiming Xiong, Richard Socher
リンク: https://arxiv.org/abs/1909.05858
学会: arXiv

tm4roon commented 4 years ago

実装

sales force: https://github.com/salesforce/ctrl/
hugging face transformers: https://huggingface.co/transformers/model_doc/ctrl.html