e4exp
commented
2 years ago 
1 はじめに
コンパクトな意味表現を提供するセンテンスエンベッディングは、分類、質問応答、意味検索、ビットテキストマイニング、意味的類似性タスクなど、さまざまな言語処理タスクに幅広く役立ちます。 文章埋め込みモデルは、自然言語推論（Conneau et al., 2017; Gao et al., 2021）などの教師付きタスクや、質問と回答のペア（Cer et al., 2018）、翻訳ペア（Yang et al., 2020a; Feng et al., 2020）、隣接文ペア（Kiros et al 2015; Logeswaran and Lee, 2018）などの半構造化データを用いて、さまざまな方法で学習されてきた。 最近の研究では、モデルのパラメータをスケールアップすることと、事前に訓練されたモデルを活用すること（Devlinら、2019年、Liuら、2019年）が、パフォーマンスを向上させるための2つの効果的なアプローチであることが示されている（Reimers and Gurevych, 2019, 2020; Yangら、2020b; Gaoら、2021）。
私たちは、事前に訓練されたモデルの新しいファミリーから文の埋め込みを探ります。 Text-to-Text Transfer Transformer (T5) (Raffel et al., 2020)です。 トランスフォーマーのエンコーダーを使用してランダムなマスクされたトークンを予測するエンコーダーのみのモデルとは異なり、T5はエンコーダー-デコーダーのアーキテクチャと生成的なスパンコーションの事前学習タスクを使用します。 T5モデルは、数千億のパラメータにスケールアップすることができ（Fedusら、2021年）、GLUE（Wangら、2018年）およびSuperGLUE（Wangら、2019年）を含む広範なNLPタスクで最先端の性能を達成しています。
しかし、検索やクラスタリングなどの一部のタスクにT5を効率的に適用することは困難です。 検索候補をスコアリングするためには、T5は各クエリと候補のペアに対してクロスアテンションによる完全な推論を行う必要がある。 これに対して、文の埋め込みは、効率的な検索やクラスタリングを可能にする(Gillick et al., 2018; Reimers and Gurevych, 2019; Yang et al., 2020a)。 図2に示すように、事前に訓練されたT5エンコーダ・デコーダモデルを文の埋め込みモデルに変える3つの方法を検討する。
(i)エンコーダの最初のトークン表現を使う、 (ii)エンコーダのすべてのトークン表現を平均化する、 (iii)デコーダの最初のトークン表現を使う。
結果として得られた文の埋め込みの品質を、SentEval（Conneau and Kiela, 2018）を用いた文の転送タスクと、意味的なテキストの類似性（Agirre et al. 事前に訓練されたT5モデルからの生の表現と、デュアルエンコーダと対比学習（Conneau et al., 2017; Cer et al., 2018; Yang et al., 2018; Gao et al., 2021）を用いた自然言語推論（NLI）と検索質問応答（ReQA）（Ahmad et al., 2019）に関する微調整によって学習された表現を対比させる。 最初にReQAで、次にNLIでの微調整を含む多段階のコントラスト学習レシピを紹介します。 最後に、私たちのT5文の埋め込みモデルを11Bパラメータまでスケールアップすることを調査する。 図1に示すように、転送タスクとSTSは、モデル容量の増加に伴って向上した。 我々の最良のモデルは、SentEvalで91.48、STS Benchmark (Cer et al., 2017)で84.94を達成し、以前の最先端モデルと比較して、それぞれ+1.25、+1.18の向上を実現した。 我々の知る限り、文表現の学習に大規模な事前学習済みtext-to-textモデルを使用することを研究し、文の埋め込みモデルを110億個のパラメータまでスケールアップしたのは我々が初めてである。
我々の貢献を以下のようにまとめる。
(i) 細かい調整を行わなくても、エンコーダのみのST5モデルは文の転送タスクで優れた性能を発揮し、SimBERTやSimRoBERTaなどの最先端の細かい調整を行ったモデルを上回る(Gao et al., 2021) (ii) エンコーダー・デコーダー文の埋め込みモデルがSTSで強力な性能を発揮し、文の埋め込みに基づくSTSの新たな最新技術を確立した (iii) 対比学習は、T5スタイルの事前学習モデルから文エンコーダーを微調整するのに効果的であり、特に我々が提案する2段階の対比学習アプローチを用いている。 (iv) 対比学習を用いてST5をより長く、より多くのデータで学習すると、文の伝達とSTSの両方のタスクで一貫した改善が得られる。我々はこのモデルをSentence T5 (ST5)と名付けた。
本研究では、テキストからテキストへの変換（T5）による文の埋め込みを初めて調査した。 文の埋め込みは、言語処理タスクに広く利用されています。 T5は、配列から配列へのマッピング問題などの言語タスクで素晴らしい性能を達成しているが、エンコーダ・デコーダモデルから文埋め込みを生成する方法は不明である。 本研究では，T5文の埋め込みを行うための3つの方法を検討した． 2つの方法はT5エンコーダのみを利用し，1つの方法はT5エンコーダ・デコーダモデルを利用する． エンコーダのみのモデルは、転送タスクと意味的テキスト類似性（STS）の両方において、BERTベースの文の埋め込みよりも優れています。 我々のエンコーダ-デコーダ法は、STSにおいてさらなる改善を達成した。 T5を数百万から数十億のパラメータにスケールアップすることで、下流のタスクにおいて一貫した改善が得られることがわかった。 最後に、文の埋め込みを用いたSTSにおいて、Sentence BERT (Reimers and Gurevych, 2019)とSimCSE (Gao et al., 2021)の両方を上回り、新たな技術を達成する2段階の対照学習手法を紹介する。