Retrieval meets Long Context Large Language Models, Peng Xu+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2310.03025

  Affiliations

  • Peng Xu, N/A
  • Wei Ping, N/A
  • Xianchao Wu, N/A
  • Lawrence McAfee, N/A
  • Chen Zhu, N/A
  • Zihan Liu, N/A
  • Sandeep Subramanian, N/A
  • Evelina Bakhturina, N/A
  • Mohammad Shoeybi, N/A
  • Bryan Catanzaro, N/A

    Abstract

  • Extending the context window of large language models (LLMs) is gettingpopular recently, while the solution of augmenting LLMs with retrieval hasexisted for years. The natural questions are: i) Retrieval-augmentation versuslong context window, which one is better for downstream tasks? ii) Can bothmethods be combined to get the best of both worlds? In this work, we answerthese questions by studying both solutions using two state-of-the-artpretrained LLMs, i.e., a proprietary 43B GPT and LLaMA2-70B. Perhapssurprisingly, we find that LLM with 4K context window using simpleretrieval-augmentation at generation can achieve comparable performance tofinetuned LLM with 16K context window via positional interpolation on longcontext tasks, while taking much less computation. More importantly, wedemonstrate that retrieval can significantly improve the performance of LLMsregardless of their extended context window sizes. Our best model,retrieval-augmented LLaMA2-70B with 32K context window, outperformsGPT-3.5-turbo-16k and Davinci003 in terms of average score on seven longcontext tasks including question answering and query-based summarization. Italso outperforms its non-retrieval LLaMA2-70B-32k baseline by a margin, whilebeing much faster at generation. Our study provides general insights on thechoice of retrieval-augmentation versus long context extension of LLM forpractitioners.

    Translation (by gpt-3.5-turbo)

• 最近、大規模言語モデル（LLMs）のコンテキストウィンドウを拡張することが人気を集めていますが、LLMsを検索と組み合わせる解決策は数年前から存在しています。 自然な疑問は次のとおりです：i）リトリーバル拡張と長いコンテキストウィンドウ、どちらがダウンストリームタスクにとってより良いのでしょうか？ii）両方の方法を組み合わせて、両方の利点を最大限に活かすことはできるのでしょうか？ 本研究では、これらの問いに対して、2つの最先端の事前学習済みLLMs、つまり43B GPTとLLaMA2-70Bを使用して、両方の解決策を研究することで回答します。 驚くべきことに、長いコンテキストタスクにおいて、単純なリトリーバル拡張を使用した4KコンテキストウィンドウのLLMは、16KコンテキストウィンドウのファインチューニングLLMと比較可能なパフォーマンスを達成することがわかりました。さらに、計算量がはるかに少ないです。 さらに重要なことは、リトリーバルは、拡張されたコンテキストウィンドウのサイズに関係なく、LLMsのパフォーマンスを大幅に向上させることができることを示しています。 最も優れたモデルであるリトリーバル拡張LLaMA2-70B（32Kコンテキストウィンドウ）は、質問応答やクエリベースの要約を含む7つの長いコンテキストタスクの平均スコアにおいて、GPT-3.5-turbo-16kとDavinci003を上回ります。また、非リトリーバルのLLaMA2-70B-32kベースラインと比較しても、生成速度がはるかに速いです。 本研究は、実践者にとって、リトリーバル拡張と長いコンテキスト拡張のLLMの選択に関する一般的な洞察を提供します。

  Summary (by gpt-3.5-turbo)

• 最先端の事前学習済みLLMsを使用して、リトリーバル拡張と長いコンテキストウィンドウの組み合わせについて研究しました。 結果として、リトリーバル拡張LLMsは、ファインチューニングLLMsと比較しても高いパフォーマンスを示し、計算量も少ないことがわかりました。 さらに、リトリーバルはLLMsのパフォーマンスを向上させることができることが示されました。 リトリーバル拡張LLMsは、質問応答や要約などのタスクにおいて、他のモデルよりも優れた性能を発揮し、生成速度も速いです。 この研究は、実践者にとってリトリーバル拡張と長いコンテキストウィンドウのLLMsの選択に関する洞察を提供します。

[AkihikoWatanabe]

参考: https://x.com/hillbig/status/1711502993508671670?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

[AkihikoWatanabe]

検索補強（Retrieval Augmentation）とは、言語モデルの知識を補完するために、関連する文書を外部の文書集合からとってきて、contextに含める技術のこと

https://tech.acesinc.co.jp/entry/2023/03/31/121001