The Curious Case of Neural Text Degeneration

テキスト生成タスクにおいて、機械による生成と人間による生成の違いについて調査し、より人間に近い生成方法について提案している論文。生成時に広く用いられているBeam searchにおいて単語の繰り返しが発生してしまう原因や、full distributionからのサンプリングによって好ましくない生成が行われてしまう原因について言及している。本論文で提案している、累積確率に基づいて生成する単語をサンプリングするNucleus samplingにより、人間に近い生成を行うことが可能である。