Meta Knowledge for Retrieval Augmented Large Language Models

nogawanogawa commented 2 weeks ago

論文URL

https://arxiv.org/abs/2408.09017

著者

Laurent Mombaerts, Terry Ding, Adi Banerjee, Florian Felice, Jonathan Taws, Tarik Borogovac

会議

KDD 2024

背景

従来のRAGはretrieve-then-readフレームワークによって行われてきた。

ただし、

タスク固有だったりドキュメントの標準化が欠如したりするなど相当なノイズが含まれていたりする
検索をサポートする人間によるラベル付けや関連度ラベルは多くの場合利用できない
チャンクが大きくなるほどチャンクの文脈は検索のために維持されなくなる
ユーザーのクエリは通常非常に短く曖昧である
ナレッジベースが集約されている保証がなく、通常複数のドキュメントに分散している可能性が高い

といった経緯より、期待する推論は難しくなっている

目的

retrieve-then-readフレームワークの改善

アプローチ

prepare- then-rewrite-then-retrieve-then-read フレームワーク
- QAセットとMKサマリーを作成
- クエリ拡張にQAとMKサマリを使用

ひとことメモ

nogawanogawa commented 2 weeks ago

背景

従来のRAGはretrieve-then-readフレームワークによって行われてきた。

ただし、

タスク固有だったりドキュメントの標準化が欠如したりするなど相当なノイズが含まれていたりする
検索をサポートする人間によるラベル付けや関連度ラベルは多くの場合利用できない
チャンクが大きくなるほどチャンクの文脈は検索のために維持されなくなる
ユーザーのクエリは通常非常に短く曖昧である
ナレッジベースが集約されている保証がなく、通常複数のドキュメントに分散している可能性が高い

といった経緯より、期待する推論は難しくなっている

nogawanogawa commented 2 weeks ago

目的

retrieve-then-readフレームワークの改善

アプローチ

prepare- then-rewrite-then-retrieve-then-read フレームワーク
- QAセットとMKサマリーを作成
- クエリ拡張にQAとMKサマリを使用

nogawanogawa commented 2 weeks ago

提案

Synthetic QA Generation

データに対してカテゴリー（研究分野やベンチマーク用Appの種類など）に分類し、メタデータを作成する。次に、メタデータを使用してQAペアを作成する。

このメタデータとQAのQを使用した埋め込みをベクトル化して使用して検索を行う。

Generation of Meta Knowledge Summary

メタデータの特定の組み合わせに対してメタナレッジサマリーを作成する。関心のあるメタデータでタグ付けされた質問の概念を要約することでメタナレッジサマリーとしている。

Augmented Generation of Queries and Retrieval

クエリ拡張の際には、検索のトピックに基づいてメタナレッジを検索し、メタナレッジサマリーに基づいて複数のサブクエリに拡張、元の水つもんに関連するフィルタリングされたDBで並列検索を行う。

nogawanogawa commented 2 weeks ago

性能評価

検索性能が向上
- QAを事前に作ってそのembeddingを検索に使うと検索精度が良くなった
- metaナレッジを使用しなくてもprecisionが高いのは変な文書を選んでいないから
- recallは上がっているのでメタナレッジを使うと正しい検索もできるらしい
回答の質の部分も向上

nogawanogawa / paper_memo