Blank Language Models

[tm4roon]

Blank Language Models

従来のleft-to-rightの言語モデルとは異なり、マスク単語予測とその単語の左右にマスクを挿入するかどうかの予測を繰り返すことで文生成を行うモデルを提案。

具体的なモデルは下図に示す通り。(1)マスク位置の選択; (2)マスク単語の予測; (3) 次のマスク位置の生成; 全てのマスクが無くなるまで繰り返す。language modeling taskやsentiment transfer等、様々なタスクにおいて、従来の言語モデルを上回る性能を達成。

文献情報

• 著者: Tianxiao Shen, Victor Quach, Regina Barzilay, Tommi Jaakkola
• リンク: https://arxiv.org/abs/2002.03079
• 学会: arXiv