e4exp
commented
2 years ago 1 INTRODUCTION
ソフトウェア開発者の生産性を向上させるツールの構築は、最近、深層学習の研究コミュニティで注目を集めています。 自然言語処理の進歩と並行して、CodeBERT (Feng et al., 2020b)、CodeGPT (Lu et al., 2021)、CodeX (Chen et al., 2021)、PLBART (Ahmad et al., 2021)、CodeT5 (Wang et al., 2021b)のような事前に学習された言語モデル（LM）が、プログラミング言語を含む理解と生成のタスクのために提案されています。 Chenら(2021)の12BパラメータのCodeXやAustinら(2021)の137BパラメータのLMのようなコード生成に関する最近の研究では、大規模な自己回帰言語モデルを用いて、GPT-C(Svyatkovskiy et al., 2020)のような以前の生成モデルが達成できたものをはるかに超えて、自然言語の記述から複数行のコードを生成する印象的な能力を示しています。
しかし、このような優れた性能は、モデルから多くのサンプルを抽出し、それらが正しいかどうかを機械的にチェックできることが前提となっていることが多い。 この設定は、実際にはそうでないことが多いでしょう。 また、コード生成モデルには、セキュリティ上の問題（脆弱なコードや不整合なコードが生成される可能性）があり、その採用は困難です。 このような現状を踏まえ、開発者を支援するツールを構築する際に、コード検索システムは魅力的な代替手段となります。 効率的な実装により、単一のクエリに対するコード検索は、大規模なLMを用いてコードを生成するよりも、ほとんどの実用的なインデックスサイズではるかに高速になります。 コード生成とは対照的に、コード検索では、結果の品質をはるかに制御できる可能性があります
インデックスエントリを事前に検証することができます。 コード検索システムでは、新しいインスタンスをエンコードしてインデックスを拡張するだけで済むため、トレーニング後に追加データを活用することも容易です。 コード検索システムは、内部にプロプライエタリなコードを持つ組織にとって特に価値のあるものです。 ソースコードデータを検索用に内部でインデックス化することで、冗長性を防ぎ、プログラマの生産性を高めることができる。 Xuら(2021)の最近の研究では、コード生成システムとコード検索システムの有効性を理解するために、開発者を対象に調査を行っています。 その結果、この2つのシステムは補完的な役割を果たしており、開発者は複雑な機能を扱う際には生成よりも検索モジュールを好むことがわかり、より優れたコード検索システムの必要性が提唱されている。
コード検索へのニューラルアプローチ（Sachdev et al., 2018; Guo et al., 2021; Ye et al., 2016; Gu et al., 2018）では、クエリとコードを独立して同じセマンティック空間の密な表現にエンコードする。 そして、検索は、これらの密なベクトルの表現上の類似性（コサインまたはユークリッド距離に基づく）を用いて実行される。 直交的なアプローチでは、クエリとコードを共同でエンコードし、コードが与えられたクエリに答えるかどうかを予測するバイナリ分類器としてセマンティックコード検索システムをトレーニングする(Lu et al., 2021; Huang et al., 2021)。 このアプローチでは、モデルは、各候補コードシーケンスとペアになったクエリを処理します。 直感的には、このアプローチは、クエリとコードの間のクロス情報を鮮明にするのに役立ち、エンコーダベースのシーケンス表現間の単純な類似性メトリックよりも、2つのモダリティ（自然言語とプログラミング言語）間のマッチング関係をキャプチャするためのより良い代替手段である。
この後者のアプローチは、コード検索には有望ですが、これまでの手法では、NL-PLシーケンスペアを含むバイナリ分類タスクにこのアプローチを利用していました。 このアプローチをコード検索タスクに直接適用することは、各クエリに対して考慮すべき多数の候補があるため、現実的ではない。 検索と分類にトランスフォーマー（Vaswani et al., 2017）エンコーダベースのモデルを使用する際に、これらのアプローチの補完的な性質を図1に描いています。
このようなニュアンスのある分類器モデルの可能性を検索というタスクに活用するために、分類器モデルで限られた数の候補を処理するカスケード方式（CasCode）を提案します。 この制限は、エンコーダベースのアプローチを採用し、2番目の分類器ステージで処理するために、検索セットからその上位数個の候補を選ぶことによって実行される。 我々のカスケード接続されたアプローチは、CodeSearchNetベンチマークにおいて、従来の結果を大幅に上回る0.7795の平均相互ランキング（MRR）スコアという最先端の性能をもたらしました。 そこで、パラメータを共有したカスケード方式を提案しました。 この方式では、1つの変換モデルで符号化と分類の両方を行うことができます。 この方式では，メモリ使用量が大幅に削減される一方で，MRRスコア0.7700という同等の検索性能が得られる．
図2は、異なるアルゴリズムを選択した場合の推論速度とMRRのトレードオフを示しています。 ここでは、一方に（高速）エンコーダモデルを、もう一方に（低速）分類器モデルを配置しています。 CasCodeでは、分類器モデルが達成した最適なスコアに匹敵する性能を提供する一方で、必要な推論時間は大幅に短縮されており、計算機上で実現可能なものとなっています。 このコードベースは、研究目的で公開される予定です。
自然言語によるセマンティックコード検索の目的は、自然言語のクエリを用いて、固定された候補のセットから意味的に関連するコードスニペットを取り出すことです。 既存のアプローチは、実用的なセマンティックコード検索システムに向けて十分な効果も効率もありません。 本論文では、高速モデルと低速モデルをカスケード接続した、効率的で正確なセマンティックコード検索フレームワークを提案する。 このフレームワークでは、高速変換エンコーダモデルを学習して、高速検索のためのスケーラブルなインデックスを最適化し、続いて低速の分類ベースの再ランキングモデルを学習して、高速検索の上位K件の結果のパフォーマンスを向上させる。 2つの別々のモデルを導入する際の高いメモリコストをさらに削減するために，パラメータを共有する1つのトランスフォーマー・エンコーダーに基づいて，高速モデルと低速モデルを共同で学習することを提案する． 提案したカスケード方式は、効率的でスケーラブルであるだけでなく、CodeSearchNetベンチマークにおいて、従来の最先端の結果であるMRR0.713に対して、平均MRR（mean reciprocal ranking）スコア0.7795（6つのプログラミング言語間）という最先端の結果を達成しました。