SURf：検索された情報を厳選活用するよう大規模ビジョン言語モデルに教える手法

[fulfulggg]

タイトル: SURf：検索された情報を厳選活用するよう大規模ビジョン言語モデルに教える手法

リンク: https://arxiv.org/abs/2409.14083

概要:

大規模視覚言語モデル（LVLM）は、コンピュータビジョンと自然言語処理の交差点において極めて重要なものとなっています。しかし、LVLMの検索拡張生成（RAG）機能の潜在能力は十分に活用されていません。既存の研究では、テキストモダリティのみに焦点を当てているか、特定のタスクに限定されています。さらに、ほとんどのLVLMは取得した情報を適切に選択して利用することが苦手であり、無関係な情報や誤解を招く情報の影響を受けやすいという問題があります。

これらの課題に対処するため、本研究では、LVLMに取得した情報を適切に選択して利用させる（SURf）ことを学習させるための自己洗練フレームワークを提案します。具体的には、LVLMバックボーンが誤って回答した質問に対して、回答の修正に役立つ参照（正の参照）と、そうでない参照（負の参照）を取得します。そして、これらの正と負の参照を組み合わせてLVLMバックボーンを微調整します。3つのタスクと7つのデータセットを用いた実験の結果、私たちのフレームワークは、LVLMが多様なモダリティの参照情報を効果的に利用する能力を大幅に向上させ、無関係な情報や誤解を招く情報に対するロバスト性を向上させることを示しました。ソースコードはhttps://github.com/GasolSun36/SURfで公開されています。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• llm
• knowledge-mechanism
• hallucination-reduction

[fulfulggg]

論文要約

SURf：検索された情報を厳選活用するよう大規模ビジョン言語モデルに教える手法 論文要約

背景:

• 大規模ビジョン言語モデル（LVLM）は、画像とテキストを扱うAI分野で注目されています。
• LVLMは検索を通して情報を取得し活用する能力 (RAG) を持ちますが、その潜在能力は十分に活用されていません。
• 既存のLVLMは、取得した情報から適切な情報を選択し、活用することが苦手です。
• 無関係な情報や誤解を招く情報の影響を受けやすいという問題点があります。

提案手法:

• 本論文では、LVLMが取得した情報を適切に選択し活用する能力を向上させるための、SURfと呼ばれる自己洗練フレームワークを提案します。
• SURfは、LVLMが間違えた質問に対して、回答の修正に役立つ情報（正の参照）とそうでない情報（負の参照）を検索します。
• これらの正と負の参照を用いてLVLMを再学習することで、情報の選択と活用能力を向上させます。

成果:

• 3つのタスクと7つのデータセットを用いた実験により、SURfはLVLMの性能を大幅に向上させることが確認されました。
• 具体的には、多様なモダリティの参照情報を効果的に利用する能力、無関係な情報や誤解を招く情報に対するロバスト性が向上しました。

貢献:

• 本研究は、LVLMのRAG機能の潜在能力を引き出し、より正確で信頼性の高いAIシステムの開発に貢献します。