URL

https://arxiv.org/abs/2409.12941
Affiliations
- Satyapriya Krishna, N/A
- Kalpesh Krishna, N/A
- Anhad Mohananey, N/A
- Steven Schwarcz, N/A
- Adam Stambler, N/A
- Shyam Upadhyay, N/A
- Manaal Faruqui, N/A
  Abstract
- Large Language Models (LLMs) have demonstrated significant performance improvements across various cognitive tasks. An emerging application is using LLMs to enhance retrieval-augmented generation (RAG) capabilities. These systems require LLMs to understand user queries, retrieve relevant information, and synthesize coherent and accurate responses. Given the increasing real-world deployment of such systems, comprehensive evaluation becomes crucial. To this end, we propose FRAMES (Factuality, Retrieval, And reasoning MEasurement Set), a high-quality evaluation dataset designed to test LLMs' ability to provide factual responses, assess retrieval capabilities, and evaluate the reasoning required to generate final answers. While previous work has provided datasets and benchmarks to evaluate these abilities in isolation, FRAMES offers a unified framework that provides a clearer picture of LLM performance in end-to-end RAG scenarios. Our dataset comprises challenging multi-hop questions that require the integration of information from multiple sources. We present baseline results demonstrating that even state-of-the-art LLMs struggle with this task, achieving 0.40 accuracy with no retrieval. The accuracy is significantly improved with our proposed multi-step retrieval pipeline, achieving an accuracy of 0.66 (>50% improvement). We hope our work will help bridge evaluation gaps and assist in developing more robust and capable RAG systems.
  Translation (by gpt-4o-mini)
大規模言語モデル（LLMs）は、さまざまな認知タスクにおいて顕著な性能向上を示しています。新たな応用として、LLMsを利用して情報検索強化生成（RAG）機能を向上させることが挙げられます。これらのシステムでは、LLMsがユーザーのクエリを理解し、関連情報を取得し、一貫性があり正確な応答を合成することが求められます。このようなシステムの実世界での導入が進む中、包括的な評価が重要となります。この目的のために、私たちはFRAMES（事実性、検索、推論測定セット）を提案します。これは、LLMsが事実に基づいた応答を提供する能力、検索能力を評価し、最終的な回答を生成するために必要な推論を評価するために設計された高品質な評価データセットです。従来の研究では、これらの能力を個別に評価するためのデータセットやベンチマークが提供されていましたが、FRAMESは、エンドツーエンドのRAGシナリオにおけるLLMの性能をより明確に把握できる統一されたフレームワークを提供します。私たちのデータセットは、複数の情報源からの統合を必要とする挑戦的なマルチホップ質問で構成されています。ベースライン結果を示すと、最新のLLMでさえこのタスクに苦労しており、検索なしで0.40の精度を達成しています。私たちが提案するマルチステップ検索パイプラインを使用することで、精度は0.66に大幅に向上し（50%以上の改善）、私たちの研究が評価のギャップを埋め、より堅牢で能力のあるRAGシステムの開発に寄与することを期待しています。
Summary (by gpt-4o-mini)
LLMsを用いた情報検索強化生成（RAG）システムの性能評価のために、FRAMESという新しい評価データセットを提案。これは、事実に基づく応答、検索能力、推論を統一的に評価するもので、複数の情報源を統合するマルチホップ質問を含む。最新のLLMでも0.40の精度に留まる中、提案するマルチステップ検索パイプラインにより精度が0.66に向上し、RAGシステムの開発に貢献することを目指す。

AkihikoWatanabe / paper_notes

Fact, Fetch, and Reason: A Unified Evaluation of Retrieval-Augmented Generation, Satyapriya Krishna+, N/A, arXiv'24 #1461

URL

Affiliations

Abstract

Translation (by gpt-4o-mini)

Summary (by gpt-4o-mini)