e4exp
commented
2 years ago 1 はじめに
近年、NLP システムでは、事前に学習された言語表現を、柔軟かつタスクに依存しない方法で下流に伝達する傾向が見られます。 まず、単層の表現が単語ベクトルを用いて学習され[MCCD13, PSM14]、タスクに特化したアーキテクチャに供給された。 次に、複数層の表現と文脈状態を持つRNNがより強い表現を形成するために用いられ[DL15, MBXS17, PNZtY18]（ただし、タスクに特化したアーキテクチャに適用される）、さらに最近では、事前に学習されたリカレントまたはトランスフォーマ言語モデル[VSP+17]が直接微調整され、タスクに特化したアーキテクチャの必要性が完全になくなった[RNSS18, DCLT18, HR18]。 この最後のパラダイムは、読解、質問応答、テキストの含意など、多くの困難なNLPタスクにおいて実質的な進歩をもたらし、新しいアーキテクチャとアルゴリズムに基づいて進歩し続けている[RSR+19, LOG+19, YDY+19, LCG+19]。
しかし、このアプローチの大きな限界は、アーキテクチャがタスクにとらわれない一方で、タスクに特化したデータセットとタスクに特化した微調整が必要であることである。 目的のタスクで強力なパフォーマンスを得るためには、通常、そのタスクに特化した数千から数十万の例のデータセットで微調整を行う必要がある。 いくつかの理由から、この制限を取り除くことが望ましいと考えられます。
まず、実用面では、新しいタスクのたびにラベル付きの例を集めた大規模なデータセットが必要となるため、言語モデルの適用範囲が狭くなります。 文法の修正、抽象的な概念の例の生成、短編小説の批評など、有用な言語タスクは非常に幅広く存在します。 これらのタスクの多くは、大規模な教師付き学習データセットを収集することが難しく、特に新しいタスクごとにプロセスを繰り返さなければなりません。
第二に、学習データの偽の相関関係を利用する可能性は、モデルの表現力や学習分布の狭さに応じて基本的に大きくなります。 これは、事前トレーニングと微調整のパラダイムに問題を生じさせる可能性がある。 すなわち、モデルは事前トレーニングで情報を吸収するために大きく設計されるが、その後、非常に狭いタスク分布で微調整される。 例えば、[HLW+20]では、大きなモデルが必ずしも分布外の一般化に優れているわけではないことを観察している。 このパラダイムで達成される汎化は、モデルが訓練分布に過度に特化しており、分布外にうまく汎化できないため、貧弱になる可能性があることを示唆する証拠がある[YdC+19, MPL19]。 このように、特定のベンチマークで微調整されたモデルの性能は、名目上は人間レベルであっても、基本的なタスクでの実際の性能を誇張している可能性がある[GSL+18, NK19]。
第三に、人間はほとんどの言語タスクを学習するために大規模な教師付きデータセットを必要としない。 自然言語での簡単な指示（例：「この文章が何か幸せなことを述べているのか、何か悲しいことを述べているのか教えてください」）や、せいぜいわずかな数のデモンストレーション（例：「ここに2つの勇敢な行動をする人の例がありますが、3つ目の勇敢な例を挙げてください」）で十分である。
これは、人間が新しいタスクを少なくとも妥当な程度の能力で実行できるのに十分なものです。 この適応性は、現在のNLP技術の概念的な限界を指摘するだけでなく、実用的な利点でもあります。 例えば、長い対話の間に足し算を行うなど、人間は多くのタスクやスキルをシームレスに組み合わせたり、切り替えたりすることができます。 広く利用されるためには、NLPシステムにもこのような流動性と汎用性が求められます。 このような問題を解決するための1つの方法として、メタ学習^1があります。
^1 言語モデルの文脈では、これを「ゼロショット転送」と呼ぶことがありますが、この用語は曖昧な可能性があります。 この手法は、勾配更新が行われないという意味で「ゼロショット」ですが、モデルに推論時のデモを提供することが多いため、本当の意味でゼロ例からの学習ではありません。 この混乱を避けるために、一般的な手法の内ループ/外ループ構造を捉えるために「メタ学習」という用語を使用し、メタ学習の内ループを指すために「インコンテキスト学習」という用語を使用します。 さらに、推論時に提供されるデモンストレーションの数に応じて、「zero-shot」、「one-shot」、「few-shot」と表現を分けています。 これらの用語は、モデルが推論時に新しいタスクをゼロから学習するのか、それとも単にトレーニング中に見られたパターンを認識するのかという問題に対して不可知論的であることを意図しています。 これは重要な問題であり、論文の後半で議論しますが、「メタ学習」は両方の可能性を包含することを意図しており、単にインナー-アウターループ構造を表しています。
言語モデルの文脈では、モデルが学習時に幅広いスキルとパターン認識能力を身につけ、推論時にそれらの能力を使って目的のタスクに素早く適応したり認識したりすることを意味します（図1.1に図示）。 最近の研究[RWC+19]では、事前に学習された言語モデルのテキスト入力をタスクの仕様として利用する「コンテキスト学習」と呼ばれる方法でこれを実現しようとしている。 モデルは、自然言語による指示やタスクのいくつかのデモンストレーションを条件とし、次に何が来るかを予測するだけでタスクのさらなるインスタンスを完了することが期待される。 例えば、[RWC+19]では、自然な質問で4%しか達成できず、55のF1 CoQaの結果でさえ、最先端の技術に35ポイント以上の差をつけられています。 メタ学習は、言語タスクを解決する実用的な方法として実行するためには、明らかに大幅な改善が必要です。
また、最近の言語モデリングの動向にもヒントがあります。 近年，変換言語モデルの容量は，1億パラメータ[RNSS18]，3億パラメータ[DCLT18]，15億パラメータ[RWC+19]，80億パラメータ[SPP+19]，110億パラメータ[RSR+19]，そして170億パラメータ[Tur20]と大幅に増加している。 各々の増加は，テキスト合成や下流のNLPタスクに改善をもたらしており，多くの下流タスクとの相関性が高いログロスは，規模が大きくなるにつれて滑らかな改善傾向にあることを示唆する証拠がある[KMH+20]． インコンテクスト学習では、モデルのパラメータ内で多くのスキルやタスクを吸収することになるので、インコンテクスト学習能力がスケールとともに同様に強い向上を示す可能性は十分にある。
本論文では、この仮説を検証するために、1750億パラメータの自己回帰型言語モデル（GPT-3と呼ぶ）を学習し、そのコンテキスト内学習能力を測定した。 具体的には、20種類以上のNLPデータセットと、学習セットに直接含まれていないようなタスクへの迅速な適応をテストするために設計されたいくつかの新しいタスクでGPT-3を評価する。
それぞれのタスクにおいて、GPT-3は3つの条件で評価されます。
(a)モデルのコンテキストウィンドウ（通常10～100）に収まるだけのデモを許可する「数ショット学習」（コンテキスト内学習）、 (b)1回だけのデモを許可する「ワンショット学習」、 (c)デモを許可せず、自然言語による指示のみをモデルに与える「ゼロショット学習」。
GPT-3は、原理的には従来の微調整の設定でも評価できますが、これは今後の課題とします。
図1.2は、私たちが研究している条件を示しており、モデルが単語から余計な記号を取り除くという単純なタスクを数ショットで学習している様子を示しています。 モデルの性能は、自然言語によるタスクの説明を追加した場合と、モデルのコンテキストに含まれる例の数Kによって向上します。 このケースの結果は特に顕著ですが、モデルサイズとコンテキスト内の例数の両方に関する一般的な傾向は、我々が調査したほとんどのタスクに当てはまります。 これらの「学習」曲線には、勾配の更新や微調整は含まれておらず、条件として与えられるデモの数が増えるだけであることを強調しておきます。
概して、NLPタスクにおいて、GPT-3はゼロショットおよびワンショットの設定で有望な結果を達成し、また、数ショットの設定では、（最先端は微調整されたモデルによって保持されているにもかかわらず）最先端と競合したり、時には上回ることもあります。 例えば、GPT-3はCoQAにおいてゼロショット設定で81.5 F1、ワンショット設定で84.0 F1、 few-shot設定で85.0 F1を達成しています。 同様に、GPT-3はTriviaQAにおいて、ゼロショットで64.3%、ワンショットで68.0%、数ショットで71.2%の精度を達成しており、これは同じクローズドブックの環境で動作する微調整されたモデルと比較しても最先端の結果です。 GPT-3は、単語の分解、算数、新しい単語の定義を一度だけ見た後に文章中で使用するなど、迅速な適応やその場での推論をテストするように設計された課題においても、ワンショットおよび数ショットの能力を示した。 また、GPT-3は、少数ショットの設定で、人間の評価者が人間の生成した記事と区別するのが難しい合成ニュース記事を生成できることを示した。
一方で、GPT-3の規模であっても、数ショットの性能が苦手とするタスクがいくつかあることもわかりました。 これには、ANLIデータセットのような自然言語推論タスクや、RACEやQuACのような読解データセットが含まれます。
このような限界を含めて、GPT-3の長所と短所を幅広く紹介することで、言語モデルにおける少数ショット学習の研究を活性化し、進歩が最も必要とされる場所に注目してもらいたいと考えています。 図1.3は、様々なタスクを集約したもので、全体的な結果を直感的に把握することができます（ただし、これ自体が厳密で意味のあるベンチマークと見なすべきものではありません）。
また、"データ汚染 "に関する体系的な研究も行っています。 この問題は、Common Crawlのようなデータセットで大容量モデルを学習する際に大きくなっています。 このようなデータセットには、テストデータセットのコンテンツが含まれている可能性があります。
本論文では、データ汚染を測定し、その歪みの影響を定量化するための体系的なツールを開発した。 ほとんどのデータセットにおいて、データコンタミネーションがGPT-3の性能に与える影響は小さいことがわかりましたが、結果を歪めている可能性のあるデータセットもいくつか確認しました。 これらのデータセットについては、その深刻度に応じて結果を報告しないか、アスタリスクを付けて表示しました。
上記に加えて、0ショット、1ショット、数ショットの設定でGPT-3と性能を比較するために、一連の小さなモデル（1億2500万パラメータから130億パラメータまで）を学習しました。 注目すべきパターンは、ゼロショット、1ショット、数ショットの性能の差がモデルの容量に応じて大きくなることで、これは大きなモデルがより熟練したメタ学習者であることを示唆していると考えられます。
最後に、GPT-3が示す幅広い能力を考慮して、偏りや公平性、より広い社会的影響に関する懸念について議論し、この点に関するGPT-3の特徴の予備的な分析を試みます。 本論文の残りの部分は以下のように構成されています。 セクション2では、GPT-3をトレーニングし、評価するためのアプローチと方法について説明します。 セクション3では、ゼロショット、ワンショット、数ショットの設定で、全範囲のタスクに関する結果を示す。 セクション4では、データコンタミネーション（トレーニングとテストの重複）の問題を取り上げます。 セクション5では、GPT-3の限界について述べます。 セクション6では、より広範な影響について述べます。セクション7では、関連する研究をレビューし、セクション8では結論を述べます。
近年、多くのNLPタスクやベンチマークにおいて、大規模なテキストコーパスで事前学習を行い、その後、特定のタスクで微調整を行うことで、大きな成果が得られることが実証されています。 この方法は、タスクに依存しないアーキテクチャを採用していますが、それでも数千から数万の例を含むタスク固有の微調整用データセットが必要です。 対照的に、人間はわずかな例や簡単な指示から新しい言語タスクを実行することができますが、現在のNLPシステムではこれがほとんどできません。 ここでは、言語モデルをスケールアップすることで、タスクに依存しない数ショットのパフォーマンスが大幅に向上し、場合によっては、これまでの最先端の微調整アプローチと競合するまでになることを示します。 具体的には、1,750億個のパラメータを持つ自己回帰型言語モデルであるGPT-3を学習し、その性能を数ショットの設定でテストしました。 すべてのタスクにおいて、GPT-3は勾配更新や微調整を行わずに適用され、タスクと数ショットのデモはモデルとのテキストインタラクションによって純粋に指定されます。 GPT-3は、翻訳、質問応答、clozeタスクなどの多くのNLPデータセットに加えて、単語の解読、文中の新しい単語の使用、3桁の演算など、その場での推論や領域適応を必要とするいくつかのタスクにおいて、強力な性能を達成した。 一方で、GPT-3の数撃ちゃ当たる学習が苦手とするデータセットや、大規模なウェブコーパスでの学習に関する方法論的な問題に直面しているデータセットも確認しています。 最後に、GPT-3は、人間の評価者が人間の書いた記事と区別するのが難しいニュース記事のサンプルを生成できることがわかった。 この発見とGPT-3の一般的な社会的影響について議論する。