Open tm4roon opened 4 years ago
効率的な事前学習手法ELECTRA:Efficiently Learning an Encoder that Classifies Token Replacements Accuratelyを提案した論文。Masked Language Modelでは、マスクした部分しか学習できないので非常に非効率である。そこで、Generative Adversarial Networkのアイデアを応用して、Replaceing Token Detection (置き換えられた単語かどうかの二値分類タスク)による事前学習を導入する。具体的なモデルの構成は以下の図に示す通り。
結果として、RoBERTaやXLNet等 に比べて学習時間を1/4に短縮。なおかつ、それらのモデルの性能を上回ることができることを示した。
ELECTRA: Pre-Training Text Encoders as Discriminators Rather Than Generators
効率的な事前学習手法ELECTRA:Efficiently Learning an Encoder that Classifies Token Replacements Accuratelyを提案した論文。Masked Language Modelでは、マスクした部分しか学習できないので非常に非効率である。そこで、Generative Adversarial Networkのアイデアを応用して、Replaceing Token Detection (置き換えられた単語かどうかの二値分類タスク)による事前学習を導入する。具体的なモデルの構成は以下の図に示す通り。
結果として、RoBERTaやXLNet等 に比べて学習時間を1/4に短縮。なおかつ、それらのモデルの性能を上回ることができることを示した。
文献紹介
解説記事