Low-Resource Neural Headline Generation

Neural headline generation modelにおける事前学習の効果を検証した論文。EncoderやDecoderを言語モデル的に事前学習させる他に、言語モデルを利用して、元の記事データから擬似的なheadlineを抽出し、学習データに加えるDistant Supervisionを利用し、性能を改善。