プロンプトにご用心：プロンプトベースのクラスにとらわれないカウントのための新しいベンチマーク

[fulfulggg]

タイトル: プロンプトにご用心：プロンプトベースのクラスにとらわれないカウントのための新しいベンチマーク

リンク: https://arxiv.org/abs/2409.15953

概要:

クラスにとらわれないカウント (CAC) は、モデルのトレーニング中に見たことのない任意のオブジェクトクラスのインスタンス数を推定することを目的とした、コンピュータービジョンの新しいタスクです。堅牢なビジョン＆ランゲージ基盤モデルの最近の進歩により、カウントするオブジェクトカテゴリを自然言語を使用して指定できる、プロンプトベースの CAC に関心が集まっています。しかし、このタスクを評価するための現在のベンチマークには、正確な評価とより効果的なソリューションの開発の両方を妨げる、重大な制限があることがわかりました。具体的には、現在の評価プロトコルでは、カウントするオブジェクトを理解するモデルの能力が測定されていないと主張します。これは、主に単一のクラスのオブジェクトを含む画像で構成される CAC データセットの欠点と、従来のクラス固有のカウントに基づいており、カウントエラーのみに焦点を当てている現在のカウントパフォーマンス評価者の制限という、2 つの主な要因によるものです。このギャップを埋めるために、それぞれに適切な評価メトリクスが付属する 2 つの対象テストで構成される、プロンプト対応カウント (PrACo) ベンチマークを紹介します。最先端の方法を評価した結果、一部の方法は標準のクラス固有カウントメトリクスで目覚ましい結果を達成していますが、入力プロンプトの理解に重大な欠陥を示しており、より慎重なトレーニング手順または設計の見直しが必要であることが示されています。結果を再現するためのコードは、https://github.com/ciampluca/PrACo で入手できます。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• benchmark
• dataset
• image-analysis

[fulfulggg]

論文要約

プロンプトにご用心：プロンプトベースのクラスにとらわれないカウントのための新しいベンチマーク 論文要約

問題点

• クラスにとらわれないカウント (CAC: Class-Agnostic Counting) は、画像中の任意のオブジェクトの数を数えるタスク。
• 最近のプロンプトベースCACは、自然言語で数える対象を指定できる。
• しかし、既存のベンチマークは、モデルがプロンプト（数える対象の指示）を正しく理解しているかを評価できていない。
  • 既存データセットは単一クラスの画像が多く、複雑なプロンプトを評価できない。
  • 既存評価指標はカウントの正確さのみを重視し、プロンプト理解度を測れない。

提案手法

• プロンプト対応カウントベンチマーク (PrACo) を提案。
  • プロンプト理解度を評価できる2つのテストで構成。
  • 新しい評価指標を導入し、プロンプト理解度も測定可能に。

実験結果

• PrACoを用いて最新手法を評価した結果、既存指標では高性能を示すモデルでも、プロンプト理解に問題があることが判明。
• より慎重な学習方法やモデル設計の見直しが必要。

貢献

• 既存ベンチマークの問題点を指摘し、プロンプト理解度を評価可能な新たなベンチマークを提案。
• プロンプトベースCACの研究を促進し、より高性能なモデル開発に貢献。