Learning Efficient Task-Specific Meta-Embeddings with Word Prisms
Jingyi He, KC Tsiolis, Kian Kenyon-Dean, Jackie Chi Kit Cheung
Mila – Quebec AI Institute / McGill University, Montr ´ eal, QC, Canada
Word embeddings are trained to predict word cooccurrence statistics, which leads them to possess different lexical properties (syntactic, semantic, etc.) depending on the notion of context defined at training time. These properties manifest when querying the embedding space for the most similar vectors, and when used at the input layer of deep neural networks trained to solve downstream NLP problems. Meta-embeddings combine multiple sets of differently trained word embeddings, and have been shown to successfully improve intrinsic and extrinsic performance over equivalent models which use just one set of source embeddings. We introduce word prisms: a simple and efficient meta-embedding method that learns to combine source embeddings according to the task at hand. Word prisms learn orthogonal transformations to linearly combine the input source embeddings, which allows them to be very efficient at inference time. We evaluate word prisms in comparison to other meta-embedding methods on six extrinsic evaluations and observe that word prisms offer improvements in performance on all tasks.
ワードプリズムを使用した効率的なタスク固有のメタ埋め込みの学習
Jingyi He、KC Tsiolis、Kian Kenyon-Dean、Jackie Chi Kit Cheung
単語の埋め込みは、単語の共起統計を予測するようにトレーニングされます。これにより、トレーニング時に定義されたコンテキストの概念に応じて、異なる語彙プロパティ（構文、意味など）を所有するようになります。これらのプロパティは、埋め込みスペースに最も類似したベクトルを照会するとき、およびダウンストリームNLP問題を解決するようにトレーニングされたディープニューラルネットワークの入力層で使用されるときに現れます。メタ埋め込みは、異なる方法でトレーニングされた単語埋め込みの複数のセットを組み合わせ、1セットのソース埋め込みのみを使用する同等のモデルよりも内在的および外的パフォーマンスを向上させることが示されています。ワードプリズムを紹介します。これは、目前のタスクに応じてソース埋め込みを組み合わせる方法を学習する、シンプルで効率的なメタ埋め込み方法です。ワードプリズムは、直交変換を学習して、入力ソースの埋め込みを線形に結合します。これにより、推論時に非常に効率的になります。6つの外部評価で、他のメタ埋め込み方法と比較してワードプリズムを評価し、ワードプリズムがすべてのタスクのパフォーマンスを向上させることを確認します。
https://twitter.com/arxiv_org/status/1325417909527572483
https://arxiv.org/abs/2011.02944
Learning Efficient Task-Specific Meta-Embeddings with Word Prisms Jingyi He, KC Tsiolis, Kian Kenyon-Dean, Jackie Chi Kit Cheung Mila – Quebec AI Institute / McGill University, Montr ´ eal, QC, Canada Word embeddings are trained to predict word cooccurrence statistics, which leads them to possess different lexical properties (syntactic, semantic, etc.) depending on the notion of context defined at training time. These properties manifest when querying the embedding space for the most similar vectors, and when used at the input layer of deep neural networks trained to solve downstream NLP problems. Meta-embeddings combine multiple sets of differently trained word embeddings, and have been shown to successfully improve intrinsic and extrinsic performance over equivalent models which use just one set of source embeddings. We introduce word prisms: a simple and efficient meta-embedding method that learns to combine source embeddings according to the task at hand. Word prisms learn orthogonal transformations to linearly combine the input source embeddings, which allows them to be very efficient at inference time. We evaluate word prisms in comparison to other meta-embedding methods on six extrinsic evaluations and observe that word prisms offer improvements in performance on all tasks.   ワードプリズムを使用した効率的なタスク固有のメタ埋め込みの学習 Jingyi He、KC Tsiolis、Kian Kenyon-Dean、Jackie Chi Kit Cheung 単語の埋め込みは、単語の共起統計を予測するようにトレーニングされます。これにより、トレーニング時に定義されたコンテキストの概念に応じて、異なる語彙プロパティ（構文、意味など）を所有するようになります。これらのプロパティは、埋め込みスペースに最も類似したベクトルを照会するとき、およびダウンストリームNLP問題を解決するようにトレーニングされたディープニューラルネットワークの入力層で使用されるときに現れます。メタ埋め込みは、異なる方法でトレーニングされた単語埋め込みの複数のセットを組み合わせ、1セットのソース埋め込みのみを使用する同等のモデルよりも内在的および外的パフォーマンスを向上させることが示されています。ワードプリズムを紹介します。これは、目前のタスクに応じてソース埋め込みを組み合わせる方法を学習する、シンプルで効率的なメタ埋め込み方法です。ワードプリズムは、直交変換を学習して、入力ソースの埋め込みを線形に結合します。これにより、推論時に非常に効率的になります。6つの外部評価で、他のメタ埋め込み方法と比較してワードプリズムを評価し、ワードプリズムがすべてのタスクのパフォーマンスを向上させることを確認します。