RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval

nogawanogawa commented 6 months ago

論文URL

https://arxiv.org/abs/2401.18059

著者

Parth Sarthi, Salman Abdullah, Aditi Tuli, Shubh Khanna, Anna Goldie, Christopher D. Manning

会議

ICLR 2024

背景

大規模な言語モデルであっても、特定のタスクに対するドメイン固有の知識が不足するが、fine tuningで世界に追従するのは難しい。こうした状況に対して、LAGが採用されることが非常に多い。検索補強（retrieval augmentation）は有効ではあるが、既存手法は短い連続したチャンクを数個検索するのが現状である。

「シンデレラはどうやってハッピーエンドにたどり着いたのか」という質問にこうした手法では検索された数個のチャンクの情報では不十分であり、対応することができない。

目的

異なるレベルの質問に効果的かつ効率的に答えることができる検索手法の開発

アプローチ

RAPTOR
- テキストのチャンクをクラスタ化
- それらのクラスタのテキスト要約を生成
- それを繰り返し、下から上にツリーを生成する

ひとことメモ

nogawanogawa commented 6 months ago

背景

大規模な言語モデルであっても、特定のタスクに対するドメイン固有の知識が不足するが、fine tuningで世界に追従するのは難しい。こうした状況に対して、LAGが採用されることが非常に多い。検索補強（retrieval augmentation）は有効ではあるが、既存手法は短い連続したチャンクを数個検索するのが現状である。

「シンデレラはどうやってハッピーエンドにたどり着いたのか」という質問にこうした手法では検索された数個のチャンクの情報では不十分であり、対応することができない。

nogawanogawa commented 6 months ago