personabb
commented
4 days ago Open personabb opened 4 days ago
personabb
commented
4 days ago personabb
commented
4 days ago 自己引用による手法は普通に使ってしまいそうだけど、実際には存在しない文章を引用してしまうことがあるということなので、完全に信用してはいけないという知見
personabb
commented
4 days ago 入力クエリをq、RAGによるコンテキストをc、生成されたトークンをy_nとする。 この時各yに対して、KLダイバージェンスによりコンテキストが存在する場合と存在しない場合のLM予測確率分布の変化量を定量しかして、それをスコアとする（→コンテキストにより影響を受けたトークンがわかる） →CTI
その後、逆にコンテキストの有無の違いにより、得られるトークンの差分の勾配を入力埋め込みに対して求めることで、出力に影響を与えるcのトークンを特定する。 →CCI
これにより、コンテキスト依存の生成トークンとその予測に影響を与える入力コンテキストトークンのペアが得られる。 （それぞれ閾値以上の値のトークンが、該当するトークンであると考える）
これ以降がよくわかっていない。。。
まずは、このペアから得られる、解答従属が人間に近いことを調べる？
論文タイトル（原文まま）
Model Internals-based Answer Attribution for Trustworthy Retrieval-Augmented Generation
一言でいうと
モデル内部情報を利用して信頼性の高い回答帰属を実現する手法を提案。
論文リンク
arXiv:2406.13663
著者/所属機関
Jirui Qi, Gabriele Sarti, Raquel Fernández, Arianna Bisazza
グローニンゲン大学 言語認知センター (CLCG), アムステルダム大学 論理、言語、および計算研究所 (ILLC)
投稿日付(yyyy/MM/dd)
2024/06/25
概要
In this paper,
検索強化生成 (RAG) の質問応答における信頼性の高い回答帰属を実現するために、モデル内部情報を利用した新しいアプローチであるMIRAGEを提案します。MIRAGEは、コンテキスト依存トークンを識別し、サリエンシー法を用いてその予測に貢献する検索文書とペアにします。
As a result,
MIRAGEは、マルチリンガルの抽出型QAデータセットで人間の注釈と高い一致を示し、オープンエンドQAデータセットでも自己引用と同等の品質を達成しました。
先行研究と比べてどこがすごい？
従来の含意ベースや自己引用のアプローチに比べて、モデル内部情報を活用することで、回答の生成プロセスの忠実性を高め、外部バリデータやキャリブレーションデータが不要である点が優れています。
技術や手法のキモはどこ？
どうやって有効だと検証した？
XOR-AttriQAデータセットを使用し、人間の注釈とMIRAGEの一致度を評価。また、ELI5データセットでの長文QA評価を通じて、自己引用手法との比較を行いました。
議論はある？
含意ベースの評価手法の脆弱性や、MIRAGEの忠実性を最適化するためのさらなる研究の必要性が議論されています。また、NLIベースの手法の信頼性に関する議論もあります。
結果
MIRAGEは、マルチリンガルQA設定で高い性能を発揮し、長文QA設定でも自己引用を上回る引用品質を示しました。特に、キャリブレーションデータなしでも強力な性能を発揮しました。
次に読むべき論文は？
Gao et al. (2023a) の自己引用に関する研究や、Sarti et al. (2024) のコンテキスト依存評価フレームワークPECOREに関する研究。
コメント
MIRAGEは、LLMを使用したQAシステムの信頼性を向上させるための有望なアプローチであり、さらなる研究が期待されます。
手法の詳細（数式や理論展開など）
CTI (Context-Token Identification)
[ CTI(q, c, y) = { yi | s{CTI}(m_i) = 1 \forall y_i \in y } ] [ m_i = KL(P_i^{ctx} \parallel P_i^{no-ctx}) ]
CCI (Context Clue Imputation)
[ a_{ij} = { \nabla_j ( p(y_i) - p(y_i^*) ) , \forall c_j \in c } ]
MIRAGEの統合
[ MIRAGE(y) = \bigcup_{y_i \in CTI(y)} docid(c_j) \forall c_j \in CCI(y_i) ] ] ]
]