Closed nogawanogawa closed 5 months ago
大規模な言語モデルであっても、特定のタスクに対するドメイン固有の知識が不足するが、fine tuningで世界に追従するのは難しい。 こうした状況に対して、LAGが採用されることが非常に多い。検索補強(retrieval augmentation)は有効ではあるが、既存手法は短い連続したチャンクを数個検索するのが現状である。
「シンデレラはどうやってハッピーエンドにたどり着いたのか」という質問にこうした手法では検索された数個のチャンクの情報では不十分であり、対応することができない。
異なるレベルの質問に効果的かつ効率的に答えることができる検索手法の開発
2つの検索手法を持っている
(おおよそ)先行研究の手法より評価指標は高くなっている事を確認
階層型検索が有用か調べた。Layer2から始めたほうがQuality精度が良くなった。
論文URL
https://arxiv.org/abs/2401.18059
著者
Parth Sarthi, Salman Abdullah, Aditi Tuli, Shubh Khanna, Anna Goldie, Christopher D. Manning
会議
ICLR 2024
背景
大規模な言語モデルであっても、特定のタスクに対するドメイン固有の知識が不足するが、fine tuningで世界に追従するのは難しい。 こうした状況に対して、LAGが採用されることが非常に多い。検索補強(retrieval augmentation)は有効ではあるが、既存手法は短い連続したチャンクを数個検索するのが現状である。
「シンデレラはどうやってハッピーエンドにたどり着いたのか」という質問にこうした手法では検索された数個のチャンクの情報では不十分であり、対応することができない。
目的
異なるレベルの質問に効果的かつ効率的に答えることができる検索手法の開発
アプローチ
ひとことメモ