e4exp
commented
3 years ago 1 はじめに
近年のNLPモデルの改良は、言語モデルを膨大なテキストコーパスで最初に事前学習し、その後、下流のタスクで微調整するという、事前学習と微調整のパラダイムに大きく依存していました(Devlin et al., 2019; Liu et al., 2019; Raffel et al., 2020; Lewis et al., 2020)。 モデルの性能は、タスク、および利用可能なトレーニング例の数に応じて変化します。 しかし、実際には、ドメイン、タスク、言語の数があまりにも多く、新しい問題空間にスケールアップするには、ラベル付きデータを追加する必要があります。 このため、少数のラベル付き例にのみアクセスすることを前提とした「少数ショット学習」が重要な研究分野となっている。 GPT-3 (Brown et al., 2020)では、このような事前学習・微調整のパラダイムとは異なり、十分に大きなパラメータサイズを用いた事前学習のみで、訓練例を用いたプロンプト時にほぼSOTAの結果を得ることができるモデルが得られることを示しました。 さらに重要なことに、GPT3では、促成に必要な例の数は1個と少なくてもよく、16個の例(1クラスあたり)を使って数撃ちゃ当たる的に使うと性能が大幅に向上することが示されました。 しかし、モデルの性能はパラメータの数に大きく依存しており、この結果を得るためには1750億個のパラメータへのスケールアップが必須でした。 残念ながら、このスケールでは、トレーニングとサービングの両方に大きな課題が生じる。 より小さな言語モデルに数撃ちゃ当たるの機能を装備するために、様々な方法が提案されています。 別のアプローチとしては、Masked Language Modeling（MLM）のパラダイムに沿って（Devlin et al.2019）、下流のタスクを類似のcloze問題として再構成し（例えば、「正解は」のようなフレーズを付加することで）、事前に訓練されたLMがMLMヘッドを再利用して正しいラベルを予測できるようにする方法がある（Schick & Schutze, 2020a,b）。 これらの技術の性能は、下流のタスクが事前に学習したテキストコーパスと異なるデータ分布を持つ場合には¨制限される。 例えば、(Gao et al., 2020)の研究では、言語受容性タスクや自然言語推論タスクなどのいくつかのタスクでは、事前に訓練されたLMがこのデータ分布をほとんど見ていないため、事前に訓練されたLMのパフォーマンスが悪くなることが示されている。
この論文では、新しいアプローチを提案しています。 それは、NLPタスクをまず、テキストの関連付けタスクとして再定式化するというものです。 ここでの仮定は、すべての分類タスクをモデル化するための統一された方法として、関連性を用いることができるということである1。 図1(c)に示すように、クラスラベルを、ラベルの説明に使用できる自然言語文に変換し、例文がラベルの説明を伴うかどうかを判断することが重要なアイデアです。 例えば、センチメント分類の入力とラベルのペアを再構成することができる。 x : I am in love with these actors[EOS], y : positive]は、次のような含意関係のあるテキストサンプルとして再構成できます。 x : I am in love with these actors[SEP]This is a great movie[EOS], y : entailment]となります。 タスクをこの含意関係のスタイルに変換することで、標準的な事前学習済みの言語モデルが非常に効果的な数撃ちゃ当たる学習者であることを実証しています。 また、様々なタスクが文ペアのエンテーリングタスクとして再定式化されているため、対比学習を利用してペアの拡張データを構築し、数撃ちゃ当たるの性能をさらに向上させることができます。 GLUEベンチマークの8つのタスク、SNLI、superGLUEのBoolQ、その他8つのポピュラーな文分類タスクを含む幅広いタスクを対象とした実験では、このような既製の関連付けモデルが、様々な数撃ちゃ当たる学習法と比較して、数撃ちゃ当たる性能を12%向上させることができる。
また、我々の手法は、RoBERTaモデルの標準的な微調整と比較して、フルトレーニングデータセットで1.9ptの絶対値の改善を確立した。 さらに、この手法を多言語の少数ショット学習に拡張したところ、標準的な微調整手法と比較して平均19ptの改善が見られました。 モデルが数ショット学習を実行する優れた能力を持っているのは、帰納法が真の言語理解タスクであり、モデルがこのタスクを正しく実行できるようになれば、この知識をそのように設定された他のタスクに簡単に適用できるためであると考えられます。 提案されたアプローチでは、タスクごとにモデルを微調整する必要があるものの、強力なパフォーマンスを得るために、法外に大きな言語モデルを必要としません。 さらに、エンテイルメントモデルは、様々なリポジトリを通じて誰もがダウンロードして微調整することができるため、少数精鋭の学習者を民主化し、商業的なブラックボックスAPIに制限されることもありません。
事前に学習された大規模な言語モデル（LM）は，少数の学習者として優れた能力を発揮します． しかし、その成功は、モデルのパラメータのスケーリングに大きく依存しているため、学習やサービスの提供が困難になっています。 この論文では、EFLと呼ばれる新しいアプローチを提案します。 このアプローチは、小さなLMをより優れた少数決学習者に変えることができます。 このアプローチの鍵となるアイデアは、潜在的なNLPタスクを関連性のあるタスクに再定式化し、わずか8つの例でモデルを微調整することである。 さらに、我々の提案する手法が以下のことを可能にすることを実証する。 さらに、我々の提案する手法は、 (i)教師なしの対照学習に基づくデータ増強法と自然に組み合わせることができる、 (ii)多言語の少数ショット学習に容易に拡張できる、ということを実証する。
18の標準的なNLPタスクを対象とした系統的な評価により、本手法は、既存のSOTA少数ショット学習法を12%改善し、GPT-3のような500倍の規模のモデルに匹敵する少数ショット性能を得ることができる。