Open tm4roon opened 4 years ago
言語資源が限られている場合でも、軽量かつ高性能を実現する事前学習方法(VAMPIRE)を提案。ELMoやBERTでは単語を予測されるタスクによって事前学習を行うが、ここでは、単語の頻度を予測させる事前学習を行う。VAEによって得られたベクトルを単語ベクトルに組み合わせることで後段のタスクの学習を行う。
データが小規模な場合でも、大きく性能を伸ばしている。また、ELMoに比べて、非常に高速に学習できることがわかる。
<p align="center>
Variational Pretraining for Semi-supervised Text Classification
言語資源が限られている場合でも、軽量かつ高性能を実現する事前学習方法(VAMPIRE)を提案。ELMoやBERTでは単語を予測されるタスクによって事前学習を行うが、ここでは、単語の頻度を予測させる事前学習を行う。VAEによって得られたベクトルを単語ベクトルに組み合わせることで後段のタスクの学習を行う。
Results
データが小規模な場合でも、大きく性能を伸ばしている。また、ELMoに比べて、非常に高速に学習できることがわかる。
<p align="center>
文献情報