Dict2vec : Learning Word Embeddings using Lexical Dictionaries, EMNLP2017

[fujiso]

概要

外部ソース(辞書)から獲得した関連単語ペアを用いた単語分散表現学習，Dict2Vecの提案． 関連する単語のペアが似たベクトルになるように，学習させている． 結果，類義語タスクにおいて，約12.5%の改善が見られた．
クラス分類などの別タスクでは同等のパフォーマンスが得られている．

著者

Julien Tissier, Christophe Gravier and Amaury Habrard

リンク

論文: http://aclweb.org/anthology/D17-1024
コード: https://github.com/tca19/dict2vec

貢献

• wikipedia全データで学習した提案モデルで，類義語タスクの評価データセットにおいて， sotaと比べて約12.5%の改善が見られた．
• 少ないデータの学習でも効果的. (辞書構築の時間は度外視だが，学習時間も,FastTextより短い)
• 低次元[20~100]でも効果的な分散表現が得られる
• テキスト分類でも既存の分散表現と変わらぬパフォーマンス

手法

辞書

強弱二つのペアを作成する．

• Strong pairs
  お互いの定義文に出現する
• Weak pairs 片方の定義文に相手が出現する
  (ただし，事前学習した分散表現で，お互いの近い単語が一致していればStrong pairsに)

モデル

基本はskip gramと同じ．
目的関数に次の二つの項を導入する．(式は割愛)

• Positive Sampling 強弱ペアが似たようなベクトルになるようにする． 　(特に，強ペアがより近くなるようにする)

• Selective Negative Sampling ペアでないものを負例として，遠くなるように学習． randomで取ってくる普通のNegative Samplingよりも良い?

実験

Future work