SAM2-UNet：あらゆるものをセグメント化するSegment Anything 2が、自然画像と医用画像のセグメンテーションに強いエンコーダーをもたらす

[fulfulggg]

タイトル: SAM2-UNet：あらゆるものをセグメント化するSegment Anything 2が、自然画像と医用画像のセグメンテーションに強いエンコーダーをもたらす

リンク: https://arxiv.org/abs/2408.08870

概要:

画像セグメンテーションは、視覚理解において重要な役割を担っています。近年、新しいビジョン基盤モデルが様々なタスクで優れた性能を達成しています。このような成功を受けて、本稿では、Segment Anything Model 2 (SAM2) が、U 字型セグメンテーションモデルの強力なエンコーダになりうることを示します。我々は、汎用的な画像セグメンテーションのためのシンプルだが効果的なフレームワークである SAM2-UNet を提案します。具体的には、SAM2-UNet は SAM2 の Hiera バックボーンをエンコーダとして採用し、デコーダには古典的な U 字型設計を採用しています。さらに、パラメータ効率の高い微調整を可能にするために、エンコーダにアダプタを挿入しています。カモフラージュされた物体検出、顕著な物体検出、海洋生物のセグメンテーション、鏡面検出、ポリープセグメンテーションなど、さまざまなダウンストリームタスクにおける予備的な実験では、我々の SAM2-UNet が、特別な工夫なしに既存の専門的な最先端手法を簡単に上回ることを示しています。プロジェクトページ: \url{https://github.com/WZH0120/SAM2-UNet}.

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• segmentation
• paper-implementation
• medical-imaging

[fulfulggg]

論文要約

SAM2-UNet：あらゆるものをセグメント化するSegment Anything 2が、自然画像と医用画像のセグメンテーションに強いエンコーダーをもたらす 論文要約

• 画像セグメンテーションは、画像内のオブジェクトを識別する重要な技術である。
• 近年、Segment Anything Model 2 (SAM2)のようなビジョン基盤モデルが様々な画像認識タスクで優れた性能を達成している。
• 本論文では、SAM2をU-Netと呼ばれる画像セグメンテーションモデルのエンコーダとして利用する、SAM2-UNetという新しいフレームワークを提案する。
  • エンコーダ: 画像の特徴を抽出する部分。
  • デコーダ: 抽出された特徴からセグメンテーションマスクを生成する部分。
• SAM2-UNetは、シンプルながらも効果的な設計で、様々な画像セグメンテーションタスクにおいて既存手法を上回る性能を示した。
  • カモフラージュされた物体検出
  • 顕著な物体検出
  • 海洋生物のセグメンテーション
  • 鏡面検出
  • ポリープセグメンテーション
• SAM2-UNetは、自然画像と医用画像の両方で優れた性能を発揮する。

要点

• SAM2-UNetは、SAM2の強力な画像認識能力を活用することで、高精度な画像セグメンテーションを実現する。
• シンプルな設計で、様々なタスクに適用可能である。
• 今後の画像セグメンテーション研究において、重要な役割を果たす可能性がある。