Enabling Language Models to Fill in the Blanks

単語穴埋めタスクによる新しい言語モデルの学習手法(ILM: infilling by language model)を提案。短編小説や論文概要, 歌詞などのドメインにおいて、機械が生成したものか判別が困難なレベルに流暢な文を生成することに成功。従来の単語穴埋めタスクとは異なり、マスクされた文とマスクされたフレーズを[SEP]トークンで連結した物を言語モデルに入力とし、left-to-rightで1単語ずつ生成していく。