Searching for Best Practices in Retrieval-Augmented Generation, Xiaohua Wang+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2407.01219

  Affiliations

  • Xiaohua Wang, N/A
  • Zhenghua Wang, N/A
  • Xuan Gao, N/A
  • Feiran Zhang, N/A
  • Yixin Wu, N/A
  • Zhibo Xu, N/A
  • Tianyuan Shi, N/A
  • Zhengyuan Wang, N/A
  • Shizheng Li, N/A
  • Qi Qian, N/A
  • Ruicheng Yin, N/A
  • Changze Lv, N/A
  • Xiaoqing Zheng, N/A
  • Xuanjing Huang, N/A

    Abstract

  • Retrieval-augmented generation (RAG) techniques have proven to be effectivein integrating up-to-date information, mitigating hallucinations, and enhancingresponse quality, particularly in specialized domains. While many RAGapproaches have been proposed to enhance large language models throughquery-dependent retrievals, these approaches still suffer from their compleximplementation and prolonged response times. Typically, a RAG workflow involvesmultiple processing steps, each of which can be executed in various ways. Here,we investigate existing RAG approaches and their potential combinations toidentify optimal RAG practices. Through extensive experiments, we suggestseveral strategies for deploying RAG that balance both performance andefficiency. Moreover, we demonstrate that multimodal retrieval techniques cansignificantly enhance question-answering capabilities about visual inputs andaccelerate the generation of multimodal content using a "retrieval asgeneration" strategy.

    Translation (by gpt-3.5-turbo)

• 検索拡張生成（RAG）技術は、最新情報の統合、幻覚の軽減、および特定の領域において応答品質の向上に効果的であることが証明されています。多くのRAGアプローチが提案されてきましたが、これらのアプローチは依存クエリの検索を通じて大規模言語モデルを強化することを目的としていますが、複雑な実装と長時間の応答時間という課題に直面しています。通常、RAGワークフローには複数の処理ステップが関与し、それぞれがさまざまな方法で実行される可能性があります。ここでは、既存のRAGアプローチとその潜在的な組み合わせを調査し、最適なRAGプラクティスを特定するために取り組んでいます。徹底的な実験を通じて、パフォーマンスと効率の両方をバランス良く保つRAGの展開に向けたいくつかの戦略を提案します。さらに、マルチモーダル検索技術が視覚入力に関する質問応答能力を大幅に向上させ、"検索を生成として"戦略を用いてマルチモーダルコンテンツの生成を加速できることを示します。

  Summary (by gpt-3.5-turbo)

• RAG技術は、最新情報の統合、幻覚の軽減、および応答品質の向上に効果的であることが証明されています。しかし、多くのRAGアプローチは複雑な実装と長時間の応答時間という課題に直面しています。本研究では、既存のRAGアプローチとその潜在的な組み合わせを調査し、最適なRAGプラクティスを特定するために取り組んでいます。さらに、マルチモーダル検索技術が視覚入力に関する質問応答能力を大幅に向上させ、"検索を生成として"戦略を用いてマルチモーダルコンテンツの生成を加速できることを示します。

[AkihikoWatanabe]

RAGをやる上で参考になりそう