[2021]Revisiting Additive Compositionality: AND, OR and NOT Operations with Word Embeddings

[takumi7110]

【背景】 • 加算的合成性の理論は実用的な単語埋め込みには適用できない仮定を持っている。 • 加算的合成性はAND演算として理解されているが、ORやNOTなどの他の演算が埋め込みでどのように計算されるかはよく理解されていない。 【目的】 • 実用的な単語埋め込みと加算的合成性の理論のギャップを埋めるために、周波数重み付き中心化のアイデアを提案する。 • 加算的合成性の理論をAND演算からORやNOT演算に拡張する方法を提案する。 • 実験的に提案手法の正確性を検証し、AND演算の精度を向上させることを確認する。 【手法】 • 埋め込みの中心化に周波数重み付き平均を使用することで、SGNSとGloVeの埋め込みの共通構造を明らかにする。 • 周波数重み付き中心化によって加算的合成性の精度を向上させる方法を提案する。 • OR演算のための周波数重み付き平均、NOT演算のための条件付き埋め込みを提案する。 【実験方法】 • SGNSとGloVeの埋め込みを中心化し、提案手法の正確性を実験的に検証する。 • AND演算の精度を評価し、提案手法による改善を確認する。 • BERT埋め込みに対しても提案手法が有効であることを検証する。 【実験結果】 • 周波数重み付き中心化により、加算的合成性の精度が向上することを実験的に確認する（トップ100の精度で3.5倍の改善）。 • 提案手法がBERT埋め込みにも有効であることを実験的に示す。 • 提案された公式がORやNOTの埋め込みを正しく計算できることを実験的に確認する。 【考察】 • 周波数重み付き中心化によって加算的合成性の精度が向上することが確認された。 • 提案手法はさまざまな下流タスクに適用できる改善された単語ベクトルを提供する。 • 他の研究との比較や提案手法の有用性についての考察を行う。

[takumi7110]

https://arxiv.org/pdf/2105.08585.pdf

[takumi7110]