e4exp
commented
3 years ago 1 はじめに
近年、ソースコードの生成と要約の自動化は、プログラマーの生産性を向上させ、開発者の面倒な作業を軽減する可能性があるため、大きな注目を集めています。 その結果、コード生成（Yin and Neubig, 2017; Gu et al., 2016）やコードの文書化/要約（Ahmad et al., 2020; Wei et al., 2019; Allamanis et al., 2018）を容易にするための様々なアプローチが文献で検討されています。 初期の成功にもかかわらず、生成されたコードのほとんどは依然としてコード品質の低さに悩まされています（Xu et al.、2021）。 そのため、与えられた要約からより良いコードを生成したり、その逆を行ったりするにはどうすればよいかという疑問が残っています。 しかし、ソースコードの生成と要約は、本質的に複雑で困難な作業です。 それらは、異なる変数、演算子、キーワード、クラス、メソッド名などの多様なトークンシーケンスを生成することを含んでおり（Parvez et al.、2018）、そのためには、語彙、構文、セマンティクスのレベルでプログラミング言語を理解する必要がある。 これらの問題に対処するために、最近の研究（例えば、Ahmadら（2021）、Guoら（2021）、Xuら（2020）、Fengら（2020a）、Xuら（2020））では、学習ベースのアプローチを採用している。 すなわち、GitHubやStack Overflowなどのオープンソースリポジトリや質問応答フォーラムで利用可能な既存の高品質なソースコードと短いテキスト記述を活用して、コードと関連するテキストの表現を学習する。 そして、下流のタスクで表現モデルを微調整します。 これらのデータセットには高品質の人間が書いたコードやテキストが含まれていますが、既存のアプローチでは生成プロセス中にそれらを直接利用していないため、特にソースコードが長い場合には、これらのアプローチで得られる利益はまだ限られています。 この問題を解決するために、我々は、情報検索技術を用いて検索された既存の高品質なソースコードとその記述を生成プロセスに直接含めることで、その利点を活用する。
本研究では、REDCODER(Retrieval augmentED CODe gEneration and summaRization framework)を発表する。 REDCODERを設計するにあたり、我々は開発者が既存のリソースをどのように活用するかということをモチベーションにしている。 例えば、開発者はしばしばコードリポジトリから関連するコードを検索し、見つかった場合は検索したコードを自分のコンテキストに合わせて適応させる。 同様に、APIの使用方法が不明瞭な場合、開発者は質問応答フォーラム（StackOverflowなど）で検索します（Brandt et al.2010; Sadowski et al.2015）。 このような追加のリソースは、開発者が開発の生産性を向上させるのに役立つ(Li et al., 2013)。
我々はREDCODERを2つのステップのプロセスとして設計している（図1参照）。 第1ステップでは、入力（コード生成のためのnlテキスト、要約のためのコードスニペット）が与えられると、検索モジュールがデータベースから関連するソースコード（コード生成のため）または要約（コード要約のため）を検索する1。 このように、REDCODERは、検索によって入力を補強することで、生成能力を高めている。 この2段階のプロセスにより、ソースコードとサマリーの生成のためのモジュラーで設定可能なフレームワークを設計することができます。 このフレームワークには、様々なデザインのリトリーバーやジェネレータモデルを組み込むことができます。 既存のクロス・エンコーダー・コード・リトリーバーは計算量が多く、大規模なデータベースからの検索への適用は限られている(Humeau et al., 2020)。 自然な選択は、TF-IDFやBM25のようなスパースな用語ベースのレトリバーを使うことであろう(Robertson and Zaragoza, 2009)。 しかし、REDCODERの検索モジュールは、ソースコードとプログラマーの自然言語をよく理解していなければならない。 これは、ソースコードの構文と意味の構造のために、自明ではないタスクである(Guo et al., 2021; Ahmad et al., 2021)。 意味的に類似したコードと要約を検索するというそのような期待は、疎なトークンレベルのコード検索器（例えばBM25）では達成できないかもしれません。 そのため、プログラミング言語（PL）と自然言語（NL）の理解モデル（例えば、GraphCodeBERT（Guo et al.2021））に基づいて、REDCODERのretrieverモジュールを設計する。 このretrieverモジュールは、クエリとドキュメントをエンコードするために2つの異なるエンコーダーを使用して、最先端の密な検索技術（Karpukhin et al.を拡張した．
生成器に関しては、REDCODERは、ユニモーダル（コードまたは自然言語の記述のみ）とバイモーダル（コードと記述のペア）の両方のインスタンスからなる検索データベースを扱うことができ、利用可能なすべての補助的な情報を最大限に利用することができる。 しかし、情報を取り入れるためには、入力レベルでのみ検索された情報をaug mentする。 また、ジェネレーターモジュールの基本的なアーキテクチャには手を加えず、モデルに依存しない特性を維持しています。
REDCODERは、2つの一般的なプログラミング言語（JavaとPython）を用いて、コード生成とコード要約の両方のタスクにおいて、その有効性を評価した。 実証実験の結果、REDCODERの「検索拡張生成」というコンセプトは、検索されたコードや要約から対象候補を強制的に削除した場合でも、最先端のコード生成の正確一致スコアを18.6から23.4に、要約生成のBLUE-4スコアを18.45から22.95に向上させることができた。 今後の実験により、検索コードと検索結果の要約の両方が生成プロセスにおいて重要であることが明らかになりました。 今後の研究のために、コードを公開する予定です。
ソフトウェア開発者は、ソフトウェアの開発中に多くのソースコードやドキュメントを書きます。 開発者は、ソフトウェアを実装したり、ドキュメントを作成したりする際に、過去に書いたソースコードの一部やコードサマリーを思い出すことが多いのが本質である。 このような開発者のコードや要約の生成行動を模倣するために、我々は検索データベースから関連するコードや要約を検索し、コード生成モデルや要約モデルの補助として提供する検索拡張フレームワークであるREDCODERを提案する。 このフレームワークは、いくつかのユニークな特徴を持っている。 第一に、このツールは最新の高密度検索技術を拡張し、関連するコードや要約を検索する。 第二に、一峰性（コードまたは自然言語の記述のみ）または二峰性（コードと記述のペア）のインスタンスを含む検索データベースを扱うことができる。 我々は、JavaとPythonのコード生成と要約の2つのベンチマークデータセットで実験と広範な分析を行い、有望な結果が我々の提案する検索拡張フレームワークの有効性を裏付けた。