Learned in translation: contextualized word vectors

[msrks]

https://einstein.ai/research/learned-in-translation-contextualized-word-vectors

word embedding 手法の改良の話

従来の word embeddingは前後の単語を予測するような方法で word embeddingを学習するが（Skipgram, CBoW, Glove)、翻訳タスクをうまくこなせるように word embeddingを学習した方が予測性能が向上することを示した。

要因としては、短絡的に次のワードを予測するためのword embeddingよりも、翻訳タスクをうまくこなせる word embeddingの方が、contextを抽出するのにホントに有用なembeddingができるということ