Improving Language Understanding by Generative Pre-Training

事前学習済みのTransformer言語モデルを、Text ClassificationやTextual Entailment, Semantic Textual Similarity, Question Answeringなど様々なタスクに適応させる方法を提案。fine-tuningの際は、目的のタスクの損失に加え、言語モデルの損失も計算する。 9つのタスクでstate-of-the-artを達成。