分布外検知のための自己較正型 Vision-Language モデル調整

[fulfulggg]

タイトル: 分布外検知のための自己較正型 Vision-Language モデル調整

リンク: https://arxiv.org/abs/2411.03359

概要:

実世界での信頼性の高い機械学習モデル展開には、分布外（OOD）検出が不可欠です。近年のCLIPベースOOD検出の進歩は、IDデータから抽出されたOOD特徴を用いたプロンプトチューニングの正則化により有望な結果を示しています。しかし、IDデータから抽出された無関係なコンテキストは、前景と背景の分離が不正確なために誤った情報となる可能性があり、OOD検出性能を制限します。本研究では、この問題を軽減し、与えられた少数のIDデータのみで効果的なOOD検出を実現する新しいフレームワーク、Self-Calibrated Tuning（SCT）を提案します。具体的には、SCTは元の学習目的の2つの構成要素にそれぞれ調整係数を導入します。これにより、予測の不確実性が異なるデータに対する学習中に、2つのタスク間の最適化プロセスを適応的に調整し、OOD正則化の影響を調整します。この手法は、多くのプロンプトチューニングベースのOOD検出方法と互換性があります。提案するSCTの有効性を示すために、広範な実験と分析を実施しました。コードは公開されています。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• anomaly-detection
• open-set-recognition
• vision-language-model

[fulfulggg]

論文要約

論文要約: 分布外検知のための自己較正型 Vision-Language モデル調整

画像認識AIが、学習したデータとは異なる「見たことのない」データ(分布外データ)を正しく「見たことない」と判断する技術(分布外検知)の精度向上を目指した研究。

従来の技術では、学習データから分布外データの特徴を抽出してAIモデルを調整していたが、抽出された特徴が不正確な場合、逆に精度が低下する問題があった。

この論文では、自己較正型調整(Self-Calibrated Tuning: SCT) という新しい方法を提案。

• SCTは、AIモデルの学習プロセス中に、予測の確実性に応じて自動的に調整を行う。
• 具体的には、学習の目標を2つの要素に分け、それぞれに調整係数を導入。これにより、確実性の低いデータの影響を抑えつつ、確実性の高いデータから効果的に学習できる。
• 結果として、少ない学習データでも高精度な分布外検知が可能になる。

このSCTは既存の多くの手法と組み合わせることができ、実験でも有効性が確認された。