Poincar'e Embeddings for Learning Hierarchical Representations, Nickel+, NIPS'17

[AkihikoWatanabe]

https://arxiv.org/abs/1705.08039

[AkihikoWatanabe]

解説: http://tech-blog.abeja.asia/entry/poincare-embeddings 解説スライド：https://speakerdeck.com/eumesy/poincare-embeddings-for-learning-hierarchical-representations 実装：https://github.com/TatsuyaShirakawa/poincare-embedding

[AkihikoWatanabe]

・階層構造を持つデータ（WordNet上の上位語下位語、is-a関係など）を埋め込むために、双曲空間を使った話（通常はユークリッド空間）。 ・階層構造・べき分布を持つデータはユークリッド空間ではなく双曲空間の方が効率的に埋め込める。 ・階層構造・べき分布を持つデータを双曲空間（ポアンカレ球モデル）に埋め込むための学習手法（リーマン多様体上でSGD）を提案 ・WordNet hypernymyの埋め込み：低次元でユークリッド埋め込みに圧勝 ・Social Networkの埋め込み：低次元だと圧勝 ・Lexical Entailment：2つのデータセットでSoTA （解説スライドより）

[AkihikoWatanabe]

データとして上位・下位概念を与えていないのに、原点付近には上位語・円周付近には下位語が自然に埋め込まれている（意図した通りになっている）。 ポアンカレ円板では、原点からの距離に応じて指数的に円周長が増加していくので、指数的に数が増えていく下位語などは外側に配置されると効率的だけど、その通りになっている。