Open tm4roon opened 4 years ago
スペルミスに耐性のある単語分散表現。スペルミス単語とそれに対応する正しい単語のベクトルが近づけるような項をFastTextの損失関数に導入する。内的評価(word similarity, word analogy, neighborhood similarity)・外的評価(POS tagging)の両方で、提案手法(MOE)の有効性を示した。 スペルミス単語と正しい単語のペアは、facebookの検索クエリログから収集する。
https://ai.facebook.com/blog/-a-new-model-for-word-embeddings-that-are-resilient-to-misspellings-/
Misspelling Oblivious Word Embedding
スペルミスに耐性のある単語分散表現。スペルミス単語とそれに対応する正しい単語のベクトルが近づけるような項をFastTextの損失関数に導入する。内的評価(word similarity, word analogy, neighborhood similarity)・外的評価(POS tagging)の両方で、提案手法(MOE)の有効性を示した。 スペルミス単語と正しい単語のペアは、facebookの検索クエリログから収集する。
文献情報