Aligning the Pretraining and Finetuning Objectives of Language Models

[tm4roon]

Aligning the Pretraining and Finetuning Objectives of Language Models

BERTの事前学習で利用されている、masked language model (MLM)とnext sentence prediction(NSP)の代替となる事前学習手法を提案し、concept-of-interest taggingとacronym detectionタスクにおいて、より少ないデータでも効果的にfinetuningできることを示した。ここで提案している事前学習手法は次の2つ。

• Wikipedia hyperlink prediction: concept-of-interest taggingのための事前学習
• Pseudo acronym detection: acronym detectionのための事前学習

文献情報

• 著者: Nuo Wang Pierse, Jingwen Lu
• リンク: https://arxiv.org/abs/2002.02000
• 学会: arXiv