e4exp
commented
2 years ago 1 はじめに
共同で行うソフトウェア開発では、ファイル間の変更を追跡するために、git などのバージョン管理システムに依存しています。 ほとんどのプロジェクトでは、開発者は主にソフトウェアリポジトリのブランチで作業を行い、プルリクエストを介してコードの変更をメインブランチと定期的に同期させます（Gousios et al.、2016）。 複数の開発者が同じ行のコードに同時に変更を加えると、マージコンフリクトが発生することがあります。 Zimmermann, 2007）による4つの大規模ソフトウェアプロジェクトの実証研究によると、全マージコミットのうち最大で46％がコンフリクトを起こしています。 マージコンフリクトの解決には、構文とプログラムのセマンティクスの両方を理解する必要があり、時間がかかり、複雑で、エラーが発生しやすい作業です。 git などの最新のバージョン管理システムは，入力ファイルの非構造化ラインベースの 3 者間マージを実行するために diff3 アルゴリズムを利用しています（Smith, 1998）． このアルゴリズムは，2 つのバージョンのコード A と B の，共通のベース O 上での双方向の diff を，一連の diff の「スロット」に整列させます。 各スロットでは，AまたはBのどちらかの変更点が選択される． 両方のプログラムバージョンが同じスロットで変更を導入した場合、マージコンフリクトが発生し、コンフリクトした変更を手動で解決する必要があります。 汎用性のあるプロダクションレベルのマージコンフリクト解決システムは、プログラミング言語の構文とセマンティクスを認識しつつ、プログラミング言語に関係なくあらゆるソースコードファイルを扱うことができる柔軟性を備えている必要があります。 また、特定のマージタイプやソフトウェア成果物の領域を超えて、現実世界の様々なマージコンフリクトに一般化する必要があります。
自然言語理解・生成タスクにおける変換モデルと自己教師付き事前学習の卓越した性能に触発され（Devlinら、2019年、Radfordら、2019年、Liuら、2019年、Lewisら、2019年、Raffelら、2019年。2020）だけでなく、プログラミング言語領域（Feng et al., 2020; Svyatkovskiy et al., 2020; Clement et al., 2020; Tufano et al., 2020; Ahmad et al., 2021）においても、MergeBERT：トークンレベルの3方向差分と伝達学習に基づくニューラルプログラムマージフレームワークを紹介します。 しかし、ここでは、LSTM（Hochreiter and Schmidhuber, 1997）などの他のエンコーダアーキテクチャや、Poolingformer（Zhang et al., 2021）などの効率的な変換器のバリエーションを利用することができます。 コードの各行に対して決定論的なマージ決定を行う標準的な diff3 アルゴリズムとは異なり、我々は、競合するチャンクをローカライズするのに役立つ diff3 のトークンレベルの変形を導入し、その後、最も可能性の高いプリミティブ・マージ・パターンを選択する確率的ニューラルモデルを利用します。
MergeBERT は、双方向のトランスフォーマ・エンコーダ・モデルに基づいています。 本モデルにプログラミング言語の構文およびセマンティクスの基本的な知識を付与するために、2 段階の学習手順を採用しています。 (1）大量の多言語ソースコードコーパス上での教師なしのマスクされた言語モデルの予備訓練、 （2）シーケンス分類タスクのための教師ありの微調整。
前学習したエンコーダの重みを、標準的なdiff3アルゴリズムが行うすべての入力（入力プログラムの2つの双方向差分）と、編集シーケンス情報を符号化する多入力モデルアーキテクチャに転送し、それらを集約して学習しています。 エンコーダの実装には、BERT（bidirectional transformer encoder）を採用した。 双方向エンコーダである BERT は、衝突するチャンクの周囲にコードコンテキストを含めることができ、これは左から右への言語モデルに比べて重要な利点となります。
本論文の貢献度は以下の通りです。 (1 このフレームワークは、トークンレベルの差分を利用し、解決シーケンスを生成するタスクを、実世界のマージコミットデータから抽出されたプリミティブなマージパターンの集合に対する分類タスクとして定式化します。 (2）教師なしマスクド言語モデルの事前学習（第5節参照）により、何百万ものソフトウェア・ プログラムから得られたプログラムの構文やソースコード識別子の種類に関する知識を、マージ・コンフリクト解 決の下流シーケンス分類タスクに効果的に転送し、このアプローチを計算上より実現可能なものにしています。 (3) 既存のニューラルプログラムマージモデルやjsFSTMergeやJDimeのような半構造化プログラムマージツールのいくつかの限界を克服し、最先端（Dinella et al, 2021）と比較して2倍近くの改善を実現しました（第8節、第10節参照）、そして最後に。 （4）Java、JavaScript、TypeScript、C#のプログラミング言語で学習した多言語MergeBERTモデルが単言語モデルの性能にほぼ匹敵し、未見の言語にゼロショットで一般化することを実証します。
ソフトウェアの共同開発は，大規模なソフトウェアプロジェクトを成功させるために欠かせない，最新のソフトウェア開発ライフサイクルの一部です． 複数の開発者が同じコードラインを同時に変更すると、マージコンフリクトが発生することがあります。 このようなコンフリクトは、プルリクエストや継続的インテグレーション・パイプラインを数時間から数日にわたって停滞させ、開発者の生産性を著しく低下させます。 本論文では、トークンレベルの3ウェイ・ディファレンシングとトランスフォーマ・エンコーダ・モデルに基づいた新しいニューラル・プログラム・マージ・フレームワークであるMergeBERTを紹介します。 マージ・コンフリクト解決の制限された性質を利用して、我々は、解決シーケンスを生成するタスクを、実世界のマージ・コミット・データから抽出されたプリミティブ・マージ・パターンのセットに対する分類タスクとして再構成します。 これにより、既存の構造化プログラムやニューラルプログラムのマージツールと比較して、約2倍の性能向上を実現しています。 最後に、Java、JavaScript、TypeScript、C#の各プログラミング言語を用いた多言語環境でプログラムマージを実行し、未知の言語にもゼロショットで一般化できるという、本モデルの汎用性を示します。