Denoising based Sequence-to-Sequence Pre-training for Text Generation

ノイズ除去タスクを事前学習させることによって、モデルに変更を加えることなく、要約や文法誤りタスクの性能を改善。従来は、BERTやGPTのように、Seq2SeqのEncoder側及びDecoder側のみに対応する事前学習を行なっていた。ここでは、EncoderとDecoderを同時に学習させるために、ノイズ(単語の削除・置換・並び替え)を加えた文を入力として、元の文を復元するタスクを事前学習に用いる。