物理ベースのノイズ除去拡散陰モデルを用いた水中画像の画質向上

[fulfulggg]

タイトル: 物理ベースのノイズ除去拡散陰モデルを用いた水中画像の画質向上

リンク: https://arxiv.org/abs/2409.18476

概要:

水中視覚は自律型無人潜水機（AUV）にとって非常に重要ですが、光吸収や散乱などの要因、あるいはそれらを解決するためのモデルの計算量の大きさから、リソースの限られたAUV上で劣化している水中画像をリアルタイムで鮮明化することは重要な課題です。従来の画像鮮明化技術は、変化する水中環境への適応性に欠けています。一方、学習ベースの手法、特に畳み込みニューラルネットワーク（CNN）や敵対的生成ネットワーク（GAN）を用いたものは、よりロバストな解決策を提供しますが、鮮明化が不十分、学習が不安定、モード崩壊などの制限があります。ノイズ除去拡散確率モデル（DDPM）は、画像対画像タスクにおいて最先端のアプローチとして登場しましたが、最近のUW-DDPMソリューションを用いて望ましい水中画像鮮明化（UIE）を実現するには、集中的な計算量を必要とします。これらの課題に対処するため、本稿では、物理ベースで拡散ベースの新しいUIEアプローチであるUW-DiffPhysを提案します。UW-DiffPhysは、計算量の多い分布変換U-Netを、軽量な物理ベースのUIEネットワークコンポーネントとノイズ除去U-Netを組み合わせたものと置き換え、既存のUW-DDPMフレームワークの計算量を削減しながらも性能を維持します。さらに、非マルコフサンプリングによる推論プロセスを高速化するために、ノイズ除去拡散陰モデル（DDIM）を採用しています。実験の結果、UW-DiffPhysはUW-DDPMと比較して計算量と推論時間が大幅に削減され、PSNR、SSIM、UCIQEなどの主要な指標において同等の性能を達成し、水中画像の全体的な品質を示すUIQM指標において改善が見られました。実装コードは、https://github.com/bachzz/UW-DiffPhys のリポジトリにあります。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• diffusion-models
• image-enhancement
• underwater-image-enhancement

[fulfulggg]

論文要約

水中画像の画質向上のための物理法則に基づくノイズ除去拡散陰モデルを用いた手法 (UW-DiffPhys)

課題

• 水中画像は、光吸収や散乱の影響で劣化しやすく、鮮明化が難しい。
• 従来の手法は、環境適応性や計算量、鮮明化能力に課題があった。

新しいアプローチ (UW-DiffPhys)

• 物理法則に基づくノイズ除去拡散陰モデル (DDIM) を利用し、水中画像鮮明化を実現。
• 従来の計算量の多い手法 (UW-DDPM) に比べ、軽量な物理ベースのネットワークとノイズ除去ネットワークを組み合わせることで計算量を削減。
• 非マルコフサンプリングによる高速な推論プロセスを実現。

結果

• UW-DDPM と同等の鮮明化性能を維持しながら、計算量と処理時間を大幅に削減。
• PSNR、SSIM、UCIQE などの指標で同等以上の性能を達成し、水中画像の全体的な品質を示す UIQM 指標で改善を確認。

貢献

• 計算コストを抑えつつ、高品質な水中画像鮮明化を実現する新しい手法を提案。

ソースコード

https://github.com/bachzz/UW-DiffPhys