fulfulggg
commented
2 months ago 論文要約
論文要約: O-マンバ: 水中画像鮮明化のためのO型状態空間モデル
- 水中画像鮮明化（UIE）は、水中特有の光の減衰により困難な課題となっている。
- 従来のVmambaベースの手法は空間情報モデリングに限定され、色チャネル間の依存性を十分に捉えきれていない。
- 本論文では、O型デュアルブランチネットワークを採用した新しいUIEフレームワーク「O-mamba」を提案する。
- 空間情報とクロスチャネル情報を別々にモデル化することで、水中画像に特化した効果的な処理を実現する。
- 状態空間モデルの利用により、グローバルな受容野を獲得し、画像全体の情報を考慮した処理を行う。
- さらに、以下の3つの要素を含むマルチスケール相互促進モジュールを設計し、ブランチ間の情報相互作用を強化する。
- MS-MoE (Mixture-of-Experts): ブランチ内のマルチスケール情報を効率的に融合する。
- 相互促進モジュール: 空間情報とチャネル情報の相互作用を促進する。
- サイクルマルチスケール最適化戦略: マルチスケール情報の利用を最大化する。
- 広範囲な実験の結果、O-mambaは最先端の性能を達成したことが確認された。
タイトル: O-マンバ: 水中画像鮮明化のためのO型状態空間モデル
リンク: https://arxiv.org/abs/2408.12816
概要:
水中画像のエンハンスメント（UIE）は、複雑な水中照明条件のために大きな課題に直面しています。近年、mambaベースの手法が画像エンハンスメントタスクにおいて有望な結果を達成しています。しかし、これらの手法は一般的に空間情報モデリングのみに焦点を当てたVmambaに依存しており、光波長の異なる減衰によって引き起こされる水中画像における色チャネル間の依存性の問題に対処するのが難しく、ディープネットワークの効果的な使用を制限しています。本稿では、O-mambaと呼ばれる新しいUIEフレームワークを提案します。O-mambaは、O型のデュアルブランチネットワークを採用し、空間情報とクロスチャネル情報を別々にモデル化し、水中画像向けに最適化された状態空間モデルの効率的なグローバル受容野を利用します。2つのブランチ間の情報相互作用を強化し、マルチスケール情報を効果的に活用するために、マルチスケール相互促進モジュールを設計しました。このブランチには、ブランチ内のマルチスケール情報を融合するためのMS-MoE、ブランチ間の空間情報とチャネル情報の相互作用のための相互促進モジュール、およびマルチスケール情報の使用を最大化するサイクルマルチスケール最適化戦略が含まれています。広範な実験により、私たちのメソッドが最先端（SOTA）の結果を達成することが実証されました。コードはhttps://github.com/chenydong/O-Mambaで入手できます。