ドメイン適応型プロトタイプを用いたセグメント・エニシングモデルのプロンプトによる汎用的な医用画像セグメンテーション

[fulfulggg]

タイトル: ドメイン適応型プロトタイプを用いたセグメント・エニシングモデルのプロンプトによる汎用的な医用画像セグメンテーション

リンク: https://arxiv.org/abs/2409.12522

概要:

深層学習ベースの手法は、ドメインシフトによって性能が低下することがよくあります。近年、この問題に取り組むために、多くの洗練されたネットワーク構造が設計されてきました。しかし、膨大なデータで学習された大規模モデルの出現は、その優れたセグメンテーション能力により、医療セグメンテーション問題を解決するための新たな視点を提供します。本稿では、医療画像のセグメンテーションにおける単一ソースドメイン汎化（SDG）に対処するため、Segment Anything Model（SAM）をファインチューニングする、新しいドメイン適応プロンプトフレームワーク（DAPSAM）を提案します。DAPSAMは、より汎化しやすいアダプターを使用して大規模モデルをファインチューニングするだけでなく、自己学習型のプロトタイプベースのプロンプトジェネレータを導入することで、モデルの汎化能力を向上させています。具体的には、まず、各アダプターに供給する前に、重要な低レベルの features を中間 features にマージし、その後、注意フィルターを使用して冗長な情報を削除します。これにより、より堅牢な画像の埋め込みが得られます。次に、学習可能なメモリバンクを使用して、プロンプト生成のためのドメイン適応型プロトタイプを構築することを提案し、汎化可能な医療画像セグメンテーションを実現します。広範な実験結果により、DAPSAMは、異なるモダリティを持つ2つのSDG医療画像セグメンテーションタスクにおいて、最先端の性能を達成することが実証されました。コードはhttps://github.com/wkklavis/DAPSAMで公開されています。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• medical-imaging
• image-segmentation
• domain-generalization

[fulfulggg]

論文要約

論文要約:

医療画像のセグメンテーションにおけるドメインシフト問題を解決するため、Segment Anything Model (SAM) をベースとした新たなフレームワーク、DAPSAM を提案

DAPSAM の特徴:

• ドメイン適応プロンプト: 異なる医療画像データセット間での汎化能力を高めるため、ドメイン適応型のプロンプトを生成。
• アダプターを用いたファインチューニング: 大規模モデル (SAM) にアダプターを追加することで、医療画像データに特化した学習を効率的に実現。
• 自己学習型プロトタイプベースのプロンプト生成:
  • 画像の重要な特徴を抽出し、冗長な情報を削除することで、より効果的なプロンプトを生成。
  • 学習可能なメモリバンクを用いて、ドメイン適応型のプロトタイプを構築し、汎化可能な医療画像セグメンテーションを実現。

実験結果:

• 2つの異なる医療画像データセットを用いた実験において、既存手法を上回るセグメンテーション精度を達成。

結論:

DAPSAMは、ドメインシフト問題に対処することで、医療画像セグメンテーションの精度向上に貢献する。