Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection, Akari Asai+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2310.11511

  Affiliations

  • Akari Asai, N/A
  • Zeqiu Wu, N/A
  • Yizhong Wang, N/A
  • Avirup Sil, N/A
  • Hannaneh Hajishirzi, N/A

    Abstract

  • Despite their remarkable capabilities, large language models (LLMs) oftenproduce responses containing factual inaccuracies due to their sole reliance onthe parametric knowledge they encapsulate. Retrieval-Augmented Generation(RAG), an ad hoc approach that augments LMs with retrieval of relevantknowledge, decreases such issues. However, indiscriminately retrieving andincorporating a fixed number of retrieved passages, regardless of whetherretrieval is necessary, or passages are relevant, diminishes LM versatility orcan lead to unhelpful response generation. We introduce a new framework calledSelf-Reflective Retrieval-Augmented Generation (Self-RAG) that enhances an LM'squality and factuality through retrieval and self-reflection. Our frameworktrains a single arbitrary LM that adaptively retrieves passages on-demand, andgenerates and reflects on retrieved passages and its own generations usingspecial tokens, called reflection tokens. Generating reflection tokens makesthe LM controllable during the inference phase, enabling it to tailor itsbehavior to diverse task requirements. Experiments show that Self-RAG (7B and13B parameters) significantly outperforms state-of-the-art LLMs andretrieval-augmented models on a diverse set of tasks. Specifically, Self-RAGoutperforms ChatGPT and retrieval-augmented Llama2-chat on Open-domain QA,reasoning and fact verification tasks, and it shows significant gains inimproving factuality and citation accuracy for long-form generations relativeto these models.

    Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）はその驚異的な能力にもかかわらず、しばしば事実に基づかない回答を生成することがあります。これは、LLMsがパラメトリックな知識にのみ依存しているためです。関連する知識の検索を組み込むことで、このような問題を軽減するRetrieval-Augmented Generation（RAG）というアドホックなアプローチがあります。しかし、検索を必要とするかどうかや、パッセージが関連しているかどうかに関係なく、一定数のパッセージを無差別に取得して組み込むことは、LLMの柔軟性を低下させたり、有益な応答生成を妨げる可能性があります。そこで、自己反省的な検索増強生成（Self-RAG）という新しいフレームワークを提案します。このフレームワークは、検索と自己反省を通じてLLMの品質と事実性を向上させます。Self-RAGは、適応的にパッセージを検索し、生成されたパッセージと自身の生成物を特殊なトークン（反省トークン）を使用して生成し、反省します。反省トークンの生成により、推論フェーズでLLMを制御することができ、さまざまなタスク要件に合わせて振る舞いを調整することができます。実験結果は、Self-RAG（7Bおよび13Bパラメータ）が、さまざまなタスクにおいて最先端のLLMsおよび検索増強モデルを大幅に上回ることを示しています。具体的には、Self-RAGは、オープンドメインのQA、推論、事実検証タスクにおいてChatGPTや検索増強モデルであるLlama2-chatを上回り、長文生成において事実性と引用の正確性を改善することで大きな利点を示しています。

  Summary (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）は、事実に基づかない回答を生成することがあります。そこで、自己反省的な検索増強生成（Self-RAG）という新しいフレームワークを提案します。このフレームワークは、検索と自己反省を通じてLLMの品質と事実性を向上させます。実験結果は、Self-RAGが最先端のLLMsおよび検索増強モデルを大幅に上回ることを示しています。

[AkihikoWatanabe]

RAGをする際の言語モデルの回答の質とfactual consistencyを改善せるためのフレームワーク。 reflection tokenと呼ばれる特殊トークンを導入し、言語モデルが生成の過程で必要に応じて情報をretrieveし、自身で生成内容を批評するように学習する。単語ごとに生成するのではなく、セグメント単位で生成する候補を生成し、批評内容に基づいて実際に生成するセグメントを選択する。