FIDAVL: Vision-Languageモデルを用いた偽画像の検出と帰属

[fulfulggg]

タイトル: FIDAVL: Vision-Languageモデルを用いた偽画像の検出と帰属

リンク: https://arxiv.org/abs/2409.03109

概要:

arXiv:2409.03109v1 発表タイプ: 新規 概要: 本稿では、Vision-Languageモデルを用いた偽画像の検出と帰属を行うFIDAVL (Fake Image Detection and Attribution using a Vision-Language Model) を紹介します。FIDAVLは、視覚処理と言語処理の相乗効果に着想を得た、新規かつ効率的なマルチタスクアプローチです。ゼロショット学習の利点を活用し、FIDAVLは、ソフトプロンプトチューニング戦略とともに、視覚と言語の相補性を活用して、偽画像を検出し、その発信元モデルに正確に帰属させます。私たちは、最先端の様々なモデルによって生成された合成画像を含む包括的なデータセットを用いて、広範な実験を行いました。その結果、FIDAVLは、平均95.42%という encouraging な検出精度と95.47%のF1スコアを達成すると同時に、合成画像をそれぞれのソース生成モデルに帰属させるタスクにおいて、平均92.64%のF1スコアと96.50%のROUGE-Lスコアという注目すべき性能指標も得られました。このソースコードは、https://github.com/Mamadou-Keita/FIDAVL にて公開する予定です。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• image-analysis
• adversarial-learning
• diffusion-models

[fulfulggg]

論文要約

論文要約: FIDAVL: Vision-Languageモデルを用いた偽画像の検出と帰属

• 目的: 偽画像を検出し、どのAIモデルが生成したかを特定する新しい手法 (FIDAVL) を提案
• 手法:
  • 画像認識と自然言語処理を組み合わせたVision-Languageモデルを採用
  • 画像とテキストの両方の情報を活用し、偽画像の特徴を学習
  • 学習済モデルに少しの調整を加えるだけで、新しい偽画像にも対応可能 (ゼロショット学習)
• 結果:
  • 95.42%の精度で偽画像を検出
  • 92.64%の精度で、偽画像の生成元AIモデルを特定
• 貢献: 従来手法より高精度で、偽画像の検出と生成元特定を実現
• 展望: ソースコードを公開し、更なる発展と応用が期待される