CodexGraph: コードグラフデータベースを用いた大規模言語モデルとコードレポジトリの橋渡し

[fulfulggg]

タイトル: CodexGraph: コードグラフデータベースを用いた大規模言語モデルとコードレポジトリの橋渡し

リンク: https://arxiv.org/abs/2408.03910

概要:

大規模言語モデル（LLM）は、HumanEvalやMBPPのような単独のコードタスクでは優れていますが、コードリポジトリ全体を扱うとなると困難に直面します。この課題により、リポジトリ規模でのLLMとコードベースの相互作用を強化する研究が進められています。 現在の解決策は、類似性ベースの検索や手動ツール、APIに依存していますが、それぞれに大きな欠点があります。 類似性ベースの検索は複雑なタスクでは再現率が低いことが多く、手動ツールやAPIは特定のタスクに特化しており、専門知識が必要となるため、多様なコードタスクや実際のアプリケーションへの汎用性が制限されます。 これらの制限を軽減するために、コードリポジトリから抽出されたグラフデータベースインターフェースとLLMエージェントを統合した\frameworkを導入します。 グラフデータベースの構造的特性とグラフクエリ言語の柔軟性を活用することで、\frameworkはLLMエージェントがクエリを構築して実行できるようにし、正確でコード構造を認識したコンテキスト検索とコードナビゲーションを可能にします。 \frameworkを評価するために、CrossCodeEval、SWE-bench、EvoCodeBenchの3つのベンチマークを使用します。 さらに、現実世界のコーディングアプリケーションを5つ開発しました。 \frameworkは、統一されたグラフデータベーススキーマにより、学術環境と現実世界の両方で競争力のあるパフォーマンスと可能性を示し、ソフトウェアエンジニアリングにおける汎用性と有効性を示しています。 アプリケーションのデモ：https://github.com/modelscope/modelscope-agent/tree/master/apps/codexgraph_agent.

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• new-label: llm
• new-label: paper-implementation
• new-label: code-analysis

以下の新しいラベルが作成され、適用されました：

• new-label: code-analysis

[fulfulggg]

論文要約

CodexGraph: コードグラフデータベースを用いた大規模言語モデルとコードレポジトリの橋渡し

論文要約

• 課題: 大規模言語モデル (LLM) は、個別のコードタスクは得意だが、コードリポジトリ全体を扱うのは苦手。
• 既存手法の限界:
  • 類似性ベースの検索: 複雑なタスクでは精度が低い。
  • 手動ツール/API: 特定のタスクに限定され、専門知識が必要。
• 提案手法 (CodexGraph):
  • コードリポジトリから情報を抽出し、グラフデータベース化。
  • LLMエージェントがグラフデータベースにクエリを送信し、コードに関する情報を取得。
  • グラフデータベースの構造化された情報と、グラフクエリ言語の柔軟性を活用することで、LLMは正確かつコード構造を理解した検索が可能に。
• 利点:
  • 統一されたグラフデータベーススキーマにより、様々なコードタスクやアプリケーションに適用可能。
  • 学術的なベンチマークだけでなく、現実世界のコーディングアプリケーションでも有効性を確認。
• 結論: CodexGraphは、LLMとコードリポジトリの橋渡しとして機能し、ソフトウェアエンジニアリングにおけるLLMの活用可能性を広げる。