e4exp
commented
3 years ago 1 はじめに
プログラムの合成は，人工知能研究の長年の目標であり［Manna and Waldinger, 1971, Waldinger et al., 1969, Summers, 1977, Shaw et al., 1975, Pnueli and Rosner, 1989, Manna and Waldinger, 1975］，古くは1940年代や50年代にまで遡る［Copeland, 2012, Backus et al., 1957］。 近年、プログラムを合成するための技術（記号的なものと「神経記号的なもの」の両方）に対する関心が再燃しているが［Balog et al., 2017, Devlin et al., 2017, Ellis et al., 2018, 2020, Odena et al., 2020］、これらの技術は主に、制限されたドメイン固有言語（DSL）［Gulwani, 2011］や、より完全な機能を備えているが、それにもかかわらず、特に合成を念頭に置いて設計されている言語［Odena and Sutton, 2020］に適用されている。 PythonやC++のような近代的な汎用言語は、ほとんどの場合、ターゲットとしては手が届きませんでした。これは不幸なことで，可能なダウンストリーム・アプリケーションのセットが大幅に制限されてしまうからである． 汎用言語の様々な領域の問題を対象とした合成手法は、初心者と熟練プログラマーの両方のワークフローに利益をもたらす新しいツールを可能にする可能性があります。
この問題に対する新しいアプローチの可能性を示唆しているのが，研究文献から得られた2つの新たなテーマである（より詳細なレビューはセクション8を参照のこと）． 第1に、大規模な言語モデルは、自然言語テキストを生成するための印象的な新しい能力を示しており[Brown et al., 2020, Raffel et al., 2019]、急速に拡大しているモデリングおよび推論タスクのセットを解決するための能力を示している[Devlin et al., 2019, big-bench collaboration, 2021]。 第2に、過去10年以上にわたり、機械学習アプローチがソースコードテキストに適用され、ソフトウェアエンジニアリングをサポートするさまざまな新しいツールが生み出されてきました［Allamanis et al. この作業には、CuBERT [Kanade et al., 2020]、CodeBERT [Feng et al., 2020]、PyMT5 [Clement et al., 2020]、code2vec [Alon et al., 2019]、およびコードで訓練された他のT5モデル [Mastropaolo et al., 2021]など、事前に訓練されたディープモデルが含まれています。 この2つのテーマを組み合わせると、自然言語用の大規模な言語モデルを、汎用言語でコードを合成するために活用できないかという問題が出てきます。 このようなモデルは、「トークン空間」でコードを出力するため、基礎となる言語の文法を明示的に符号化する必要はなく、データから学習することができる。 さらに、これらのモデルは大量のコードで学習することができるため、様々なライブラリがどのように相互作用するのか、人間が読める慣用的なコードとはどのようなものかを学ぶことができます。 最後に、大規模な言語モデルによって、より柔軟なタイプのプログラム仕様を検討することができます。 論理的制約や入出力例を用いてプログラムを指定するプログラム合成に関する古典的な研究[Gulwani et al.2017]とは対照的に、プログラムは短い自然言語記述によって指定することができ、場合によってはいくつかの（例えば、2または3の）入出力例と組み合わせることができます。 本論文では、大規模なTransformer言語モデルのコレクションを、汎用プログラミング言語で書かれた短いプログラムの合成に適用した場合の性能を研究しています。 問題とモデル出力の例を図1と図2に示す。 特に、本論文は以下のような貢献をしています。
-
- Pythonコード合成をテストするために2つのデータセットを紹介する。1つ目はMostly Basic Programming Problems (MBPP)と呼ばれる新しいデータセットである。このデータセットには、エントリーレベルのプログラマーが解けるように設計された974個の短いPython関数、それらのプログラムのテキスト記述、および機能的な正しさをチェックするためのテストケースが含まれている(セクション2.1)。このデータセットは、クラウドソースで作成された大規模な質問と、著者が編集して手作業で検証した小規模な質問から構成されています。2つ目は、MathQAデータセット[Amini et al., 2019]のサブセットの解答をPythonに書き換えて作成された、23914の問題を含むPython合成データセットです（セクション2.2）。このデータセットをMathQA-Pythonと呼ぶ。これらの2つのデータセットは、合成タスクの空間で異なるポイントを行使する。MBPPにはループや条件分岐などの命令型制御フローの使用が多く含まれており、MathQA-Pythonにはより複雑な自然言語記述が含まれています。
- 2.両データセットにおいて、大規模な言語モデルは、Pythonプログラムをプロンプトから数ショットで合成する際に驚くほどの性能を発揮することを示します（セクション4および7）。それぞれのデータセットでさらに微調整を行うと、合成性能がさらに向上する。特にMBPPでは、微調整セットが非常に小さい（374個の合成問題）ため、このような結果が得られました。パラメータ数が244Mから137Bの範囲でモデルの性能を評価したところ、モデルのサイズが大きくなるにつれて性能が向上することがわかりました。最大規模のモデルでは、MBPPの問題の59.6%の解を少数ショット学習で合成することができる。ほとんどのモデルサイズでは、微調整によって性能が約10%向上しています。手作業で検証された小規模なMBPPデータセットでは、合成タスクが実際に容易であることが観察された。オリジナル・データセットと編集済みデータセットの両方に存在する100個の問題に対して、少数ショット・モデルのパフォーマンスは、オリジナル・データセットでは63%から編集済みデータセットでは79%に向上しました。MathQA-Pythonデータセットでは、最大のモデルで33.4%の数撃ちゃ当たるを達成しましたが、微調整すると83.8%という非常に高い精度が得られました。
- 3.シングルステップのプログラム合成にとどまらず、人間からの自然言語によるフィードバックに応じて、コードに関する対話を行い、パフォーマンスを向上させるモデルの能力を研究しました（セクション5）。その結果，人間からのフィードバックがない場合には30％であった数ショットの性能が，4回の対話により65％に向上し，50％のエラー削減を実現した（Section 5.1）．
-
- モデルのセマンティック・グラウンディングを調査し，特定の入力に対してモデルがどの程度コードを実行できるかを調査した（セクション6）．その結果、最大規模のモデルであっても、特定の入力に対してプログラムの出力を予測することは、少数のショット（セクション6.1）であっても、微調整（セクション6.2）であっても、一般的に不可能であることがわかった。これは、これらのモデルが行っていることと、我々が "理解 "していることの間に大きなギャップがあることを示唆しています。
- 5.モデルのサイズ、プロンプト内の例の数、プロンプト内の例の同一性、サンプリング技術などの様々な要因に対するパフォーマンスの感度を分析した。さらに、大規模な言語モデルからの合成に対する2つの潜在的な批判を調査しました。第一に、解決策は、たまに例外もあるが、単にプロンプトの答えをなぞるのではなく、ホールドアウトされたテストケースに一般化する傾向があることがわかった（セクション4.4）。第二に，MBPPの解答と学習前の集合との間のオーバーラップは小さく，我々の合成結果が記憶によるものである可能性は低いことがわかった（セクション4.8）．
我々の研究は、最近の2つの取り組みと密接に関連している。 1つ目はAPPSデータセット[Hendrycks et al., 2021]で、これはコーディングコンテストからの10,000問題のデータセットです。 Hendrycksら[2021]は、このデータで大規模な言語モデルを評価しており、具体的にはfinetuned GPT-2[Radfordら、2019]とGPT-Neo[Blackら、2021]、さらにGPT-3[Brownら、2020]による少数ショット予測を評価しています。 さらに、プログラミング競技会のデータに基づいてプログラム合成手法を学習・評価するためのデータセットがいくつか提案されている（8.3項）。 しかし，これらのベンチマークでの性能は一般的に低いものであった． これは、プログラミングコンテストの問題が、その問題を解くために必要な基本的なアルゴリズムを難解にするようなスタイルで書かれているためであると推測される。 これに対して、我々のデータセット「Mostly Basic Programming Problems」は、より基本的な、文字通りの問題の記述を含むように設計されています。 これにより、コードの生成や理解に直接関連する能力に焦点が当てられるようになったと考えています。
次に、独立して、Chenら[2021]は、GPT-3アーキテクチャに従ったコード上のトランスフォーマーLMであるCodexを発表し、簡単なプログラミング問題の新しいベンチマークでその合成性能を評価しました。 主な違いは、事前学習データの仕様と、モデルの性能を調査する方法にあります。 まず、我々のモデルのトレーニングセットは、プログラミングの質問と回答のサイトなど、コードを含むウェブページをややオーバーサンプリングしていますが（セクション3参照）、Chenら[2021]とは異なり、本稿で報告されている結果には、オープンソースコードの大規模なコーパスでのさらなる微調整ステップは含まれていません。 第二に、Chenら[2021]が導入したHumanEvalベンチマークは、名目上は我々のMBPPと似ていますが、いくつかの違いがあります。 小さな違いはプロンプトの種類です。 HumanEvalデータセットは一般的に望ましい機能のI/O例を含んでいますが、その数とフォーマットは一貫しておらず、プロのソフトウェアのdocstringsを模倣しています。 一方、我々のデータセットには、アサート文として書かれた3つのI/O例が一貫して含まれています。 また、MathQAデータセットでもモデルを評価しましたが、こちらは全く性格が異なります。 第三に、137Bまでのサイズのモデルの合成結果を報告する。 コードの微調整を行わない我々の一般的なLMであっても、数ショットの合成では無視できない性能を持つことがわかった。 また、非常に小さな（374項目）例のセットでそのモデルを微調整するだけで、合成タスクでの性能が劇的に向上することもわかった。 第四に、おそらく最も興味深いのは、我々のLMがどの程度インタラクティブなツールとして使用できるかを分析し、人間がこれらのモデルと対話することで成功率を大幅に向上させることができるという結果を示していることです。
最後に、このタスクにおける汎用言語モデルの性能を調査・理解するという目的に沿って、これらのモデルが生成したコードを評価できるかどうか、また、従来の数学的な単語問題を解決するコードを生成しても同様に効果があるかどうかについても調査しています。
本論文では、汎用プログラミング言語におけるプログラム合成のための、現世代の大規模言語モデルの限界を探る。 我々は、MBPPとMathQA-Pythonという2つの新しいベンチマークで、244Mから137Bのパラメータを持つモデルのコレクションを、少数ショットと微調整の両方の領域で評価した。 これらのベンチマークは、自然言語の記述から短いPythonプログラムを合成するモデルの能力を測定するために設計されています。
Mostly Basic Programming Problems（MBPP）データセットには、974のプログラミング・タスクが含まれており、エントリーレベルのプログラマーが解けるように設計されています。 MathQA-Pythonデータセットは、MathQAベンチマークのPythonバージョンで、より複雑なテキストからコードを合成するモデルの能力を評価する23914の問題が含まれています。 どちらのデータセットでも、合成性能はモデル・サイズに応じて対数線形的に変化することがわかりました。 我々の最大のモデルは，コードデータセットでの微調整を行わなくても，適切に設計されたプロンプトを用いた数回の学習により，MBPPの問題の59.6%の解を合成することができる． データセットの一部を取り出して微調整することで、ほとんどのモデルサイズでパフォーマンスが約10%向上した。 MathQA-Pythonデータセットでは、最大のファインチューニングを施したモデルで83.8%の精度を達成した。 さらに、モデルがコードについて対話する能力を研究し、人間のフィードバックを取り入れてソリューションを改善した。 その結果、人間からの自然言語によるフィードバックは、モデルの初期予測と比較してエラー率を半減させることがわかりました。 さらに、エラー分析を行い、モデルのどこが足りないのか、どのような種類のプログラムを生成するのが最も難しいのかを明らかにしました。最後に、プログラムの実行結果を予測するためにモデルを微調整することで、モデルの意味的な根拠を探ります。 その結果、最良のモデルであっても、特定の入力に対するプログラムの出力を予測できないことがわかりました。