SSFam：落書きで教師あり顕著物体検出ファミリー

[fulfulggg]

タイトル: SSFam：落書きで教師あり顕著物体検出ファミリー

リンク: https://arxiv.org/abs/2409.04817

概要:

arXiv:2409.04817v1 発表タイプ: 新規 概要: 落書きによる顕著物体検出 (SSSOD) は、まばらな落書きラベルの監督の下、周囲から魅力的な物体をセグメント化する能力を構築します。より良いセグメンテーションのために、深度および熱赤外線モダリティは、複雑なシーンにおけるRGB画像の補足として機能します。既存の方法は、RGB、RGB-深度、RGB-熱、および視覚-深度-熱画像入力それぞれに、さまざまな特徴抽出とマルチモーダル融合戦略を特別に設計しており、同様のモデルの洪水を引き起こしています。最近提案されたセグメント・エニシング・モデル (SAM) は、並外れたセグメンテーションと迅速な対話機能を備えているため、SAMに基づくSSSODファミリーであるSSFamを提案し、異なるモダリティを持つ組み合わせ入力に利用します。まず、異なるモーダル対応モジュレータを設計し、モーダル固有の知識を取得します。これは、より優れた特徴アンサンブルのために、フリーズされたSAMエンコーダから抽出されたモーダルにとらわれない情報と連携します。次に、シャムデコーダを調整して、落書きプロンプトを使用したトレーニングとプロンプトなしのテストの間のギャップを埋め、デコード能力を強化します。私たちのモデルは、異なるモダリティの組み合わせの中で優れたパフォーマンスを示し、落書きによる教師あり手法の最高レベルを刷新し、完全に教師ありの手法に匹敵します。 https://github.com/liuzywen/SSFam

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• salient-object-detection
• segmentation
• weak-supervised-learning

[fulfulggg]

論文要約

論文要約: SSFam：落書きで教師あり顕著物体検出ファミリー

背景

• 顕著物体検出 (SOD) は、画像内で人目を引く物体を識別する技術。
• 落書きによるSOD (SSSOD) は、物体検出のために、画像に少しの落書きを加えるだけで学習できる効率的な方法。
• 深度情報や熱画像は、RGB画像だけでは難しい複雑なシーンでの物体検出を助ける。
• 従来のSSSODは、画像の種類ごとに異なるモデルが必要で、効率が悪かった。

提案手法: SSFam

• あらゆる画像の種類に対応できる、単一のSSSODモデル「SSFam」を提案。
• 最新のセグメンテーションモデル「SAM」をベースに構築。
  • SAMは高精度かつ高速なセグメンテーションが可能。
• SSFamは、RGB画像に加えて、深度情報や熱画像も入力として利用可能。
  • 画像の種類ごとに異なる特徴抽出モジュールを搭載し、それぞれの画像の特徴を効率的に学習。
  • 抽出した特徴は、SAMのエンコーダと組み合わせることで、より正確な物体検出を実現。
• 学習時と推論時の入力の違いを吸収するため、デコーダを改良。

成果

• SSFamは、様々な画像の組み合わせにおいて、従来のSSSODよりも高い精度を実現。
• 完全な教師あり学習を用いた手法に匹敵する性能を達成。

結論

• SSFamは、高精度かつ効率的なSSSODを実現する、汎用性の高いモデル。
• 従来手法に比べて、モデル開発の効率化に貢献。