Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models, Wenhao Yu+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2311.09210

  Affiliations

  • Wenhao Yu, N/A
  • Hongming Zhang, N/A
  • Xiaoman Pan, N/A
  • Kaixin Ma, N/A
  • Hongwei Wang, N/A
  • Dong Yu, N/A

    Abstract

  • Retrieval-augmented language models (RALMs) represent a substantialadvancement in the capabilities of large language models, notably in reducingfactual hallucination by leveraging external knowledge sources. However, thereliability of the retrieved information is not always guaranteed. Theretrieval of irrelevant data can lead to misguided responses, and potentiallycausing the model to overlook its inherent knowledge, even when it possessesadequate information to address the query. Moreover, standard RALMs oftenstruggle to assess whether they possess adequate knowledge, both intrinsic andretrieved, to provide an accurate answer. In situations where knowledge islacking, these systems should ideally respond with "unknown" when the answer isunattainable. In response to these challenges, we introduces Chain-of-Noting(CoN), a novel approach aimed at improving the robustness of RALMs in facingnoisy, irrelevant documents and in handling unknown scenarios. The core idea ofCoN is to generate sequential reading notes for retrieved documents, enabling athorough evaluation of their relevance to the given question and integratingthis information to formulate the final answer. We employed ChatGPT to createtraining data for CoN, which was subsequently trained on an LLaMa-2 7B model.Our experiments across four open-domain QA benchmarks show that RALMs equippedwith CoN significantly outperform standard RALMs. Notably, CoN achieves anaverage improvement of +7.9 in EM score given entirely noisy retrieveddocuments and +10.5 in rejection rates for real-time questions that falloutside the pre-training knowledge scope.

    Translation (by gpt-3.5-turbo)

• 検索補完言語モデル（RALM）は、外部の知識源を活用することで、大規模言語モデルの機能を大幅に向上させ、事実の幻想を軽減する点で注目されています。しかし、取得した情報の信頼性は常に保証されているわけではありません。関連性のないデータの取得は、誤った回答を導き、クエリに対処するための十分な情報を持っていても、モデルが固有の知識を見落とす可能性があります。さらに、標準的なRALMは、適切な回答を提供するために、内在的な知識と取得した知識の両方が十分であるかどうかを評価するのに苦労することがよくあります。知識が不足している場合、これらのシステムは理想的には「不明」という回答を返すべきです。これらの課題に対応するために、私たちはChain-of-Noting（CoN）という新しいアプローチを導入し、RALMの頑健性を向上させ、ノイズの多い関連性のないドキュメントや未知のシナリオを処理することを目指しています。CoNの核心アイデアは、取得したドキュメントに対して順次の読み取りノートを生成し、それらの関連性を評価し、最終的な回答を形成するためにこの情報を統合することです。私たちはChatGPTを使用してCoNのトレーニングデータを作成し、それをLLaMa-2 7Bモデルでトレーニングしました。4つのオープンドメインQAベンチマークでの実験結果は、CoNを装備したRALMが標準的なRALMを大幅に上回ることを示しています。特に、CoNは、完全にノイズの多い取得ドキュメントにおいてEMスコアで平均+7.9の改善を達成し、事前トレーニングの知識範囲外のリアルタイムの質問に対する拒否率で+10.5の改善を達成しています。

  Summary (by gpt-3.5-turbo)

• 検索補完言語モデル（RALM）は、外部の知識源を活用して大規模言語モデルの性能を向上させるが、信頼性の問題や知識の不足による誤った回答がある。そこで、Chain-of-Noting（CoN）という新しいアプローチを導入し、RALMの頑健性を向上させることを目指す。CoNは、順次の読み取りノートを生成し、関連性を評価して最終的な回答を形成する。ChatGPTを使用してCoNをトレーニングし、実験結果はCoNを装備したRALMが標準的なRALMを大幅に上回ることを示している。特に、ノイズの多いドキュメントにおいてEMスコアで平均+7.9の改善を達成し、知識範囲外のリアルタイムの質問に対する拒否率で+10.5の改善を達成している。

[AkihikoWatanabe]

一番重要な情報がappendixに載っている CoNによって、ノイズがあった場合にゲインが大きい。