DAF-Net: ドメイン適応性を備えた赤外線および可視画像融合のためのデュアルブランチ特徴分解融合ネットワーク

fulfulggg commented 2 weeks ago

タイトル: DAF-Net: ドメイン適応性を備えた赤外線および可視画像融合のためのデュアルブランチ特徴分解融合ネットワーク

リンク: https://arxiv.org/abs/2409.11642

概要:

赤外線画像と可視画像の融合は、両方のモダリティから補完的な情報を組み合わせることで、より包括的なシーン理解を提供することを目的としています。しかし、2つのモダリティ間の大きな違いにより、融合プロセス中に重要な特徴を保持することは依然として課題です。この問題に対処するため、ドメイン適応機能を備えたデュアルブランチ特徴分解融合ネットワーク（DAF-Net）を提案します。これは、ベースエンコーダーにマルチカーネル最大平均不一致（MK-MMD）を導入し、赤外線および可視画像融合に適したハイブリッドカーネル関数を設計します。Restormerネットワーク上に構築されたベースエンコーダーは、グローバルな構造情報をキャプチャしますが、Invertible Neural Networks（INN）に基づく詳細エンコーダーは、詳細なテクスチャ情報の抽出に焦点を当てています。MK-MMDを組み込むことにより、DAF-Netは可視画像と赤外線画像の潜在的な特徴空間を効果的に整合させ、融合画像の品質を向上させます。実験結果により、提案手法は、複数のデータセットにわたって既存の手法よりも優れており、視覚的品質と融合パフォーマンスの両方を大幅に向上させることが実証されています。関連するPythonコードは、https：//github.com/xujian000/DAF-Netで入手できます。

fulfulggg commented 2 weeks ago

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

image-enhancement
domain-generalization
image-fusion

以下の新しいラベルが作成され、適用されました：

image-fusion

fulfulggg commented 2 weeks ago

論文要約

論文要約: DAF-Net (赤外線＆可視画像融合のためのドメイン適応型ネットワーク)

目的: 赤外線画像と可視画像を融合し、それぞれの情報を補完することでより詳細なシーン理解を可能にする。
課題: 赤外線画像と可視画像の差異が大きく、重要な特徴を保持したまま融合することが難しい。
提案手法: ドメイン適応機能を持つデュアルブランチ特徴分解融合ネットワーク (DAF-Net)
- MK-MMDの導入: ベースエンコーダーにマルチカーネル最大平均不一致 (MK-MMD) を導入し、赤外線と可視画像に最適化されたハイブリッドカーネル関数を設計。
- デュアルブランチ構造:
  - ベースエンコーダー(Restormerネットワーク): 画像全体の構造情報を取得。
  - 詳細エンコーダー(Invertible Neural Networks): きめ細かい質感情報を抽出。
効果:
- MK-MMDにより、可視画像と赤外線画像の特徴空間を効果的に一致させ、融合画像の品質を向上。
- 既存手法と比較して、視覚的な品質と融合性能の両方が大幅に向上。
コード公開: https://github.com/xujian000/DAF-Net

fulfulggg / Information-gathering