TransferTransfo: A Transfer Learning Approach for Neural Network Based Conversational Agents

GPTを対話応答タスクに適応させる手法を提案。ここでは、Persona chat (対話応答のペアと同時に、話者の人格を表す情報が付与されている)データセットを用いて検証している。GPTを対話応答タスクに適応させる際には、対話文脈に加えて、話者のPersona情報も連結する形で入力している。また、BERTのNext Sentence Predicitonのように、最後の発話が文脈に沿ったものかどうかの二値分類を学習に追加している。結果として、SOTAを達成。