RAGファウンドリー：検索強化生成のためのLLMを高めるためのフレームワーク

[takachino]

タイトル: RAGファウンドリー：検索強化生成のためのLLMを高めるためのフレームワーク

リンク: https://arxiv.org/abs/2408.02545

概要:

Retrieval-Augmented Generation（RAG）システムの実装は、データ、ユースケース、複雑な設計の深い理解を必要とし、 inherently複雑です。さらに、これらのシステムの評価には、検索の精度と生成の品質の両方を多面的なアプローチで評価する必要があり、大きな課題があります。私たちは、RAGのユースケースのための大規模な言語モデルを拡張するためのオープンソースフレームワークであるRAG Foundryを紹介します。RAG Foundryは、データの作成、トレーニング、推論、評価を単一のワークフローに統合し、RAG環境で大規模な言語モデルをトレーニングおよび評価するためのデータ拡張データセットの作成を容易にします。この統合により、さまざまなRAG技術を素早くプロトタイプ化し、実験することができ、ユーザーは内部または専門知識源を使用してデータセットを簡単に生成し、RAGモデルをトレーニングできます。私たちは、さまざまなRAG構成を使用してLlama-3とPhi-3モデルを拡張および微調整し、3つの知識集中データセット全体で一貫した改善を示すことで、フレームワークの有効性を示します。コードは https://github.com/IntelLabs/RAGFoundry でオープンソースとして公開されています。

[takachino]

@offloading が以下のラベルを提案し、適用しました：

• research
• open-source
• enhancement

[takachino]

論文要約

この論文では、Retrieval-Augmented Generation（RAG）システムを利用するためのフレームワークであるRAG Foundryが紹介されています。これにより、RAG環境で大規模な言語モデルをトレーニングし、評価することが容易になります。RAG Foundryはデータの作成から評価までを統合したワークフローを提供し、様々なRAG技術を素早く試すことができます。実験では、Llama-3とPhi-3モデルを拡張して、3つの知識集中データセット全体で改善を示しました。このフレームワークは、https://github.com/IntelLabs/RAGFoundry でオープンソースとして公開されています。