Retrofitting Contextualized Word Embeddings with Paraphrases

ELMo等をはじめとする文脈を考慮した単語埋め込みモデルでは、表層が同じ単語であっても異なった単語のベクトルを出力する。このようなモデルでは、文脈が言い換えられた場合に、同等な意味であっても、ベクトル表現としては大きく異なってしまう場合がある。ここでは、言い換え認識や含意関係認識のデータを用いて、同等な意味を持つ文脈の場合にベクトル表現が近づくように、単語埋め込みモデルを調整する。