HSIGene：ハイパースペクトル画像生成のための基盤モデル

[fulfulggg]

タイトル: HSIGene：ハイパースペクトル画像生成のための基盤モデル

リンク: https://arxiv.org/abs/2409.12470

概要:

ハイパースペクトル画像（HSI）は、農業や環境モニタリングなど、さまざまな分野で重要な役割を果たしています。しかし、取得コストが高いため、ハイパースペクトル画像の数は限られており、ダウンストリームタスクのパフォーマンスが低下します。最近の研究では、拡散モデルを用いてHSIを合成する試みが行われていますが、HSIの希少性という問題に悩まされており、生成される画像の信頼性と多様性に影響を与えています。空間的な多様性を高めるためにマルチモーダルデータの活用を提案する研究もありますが、スペクトル忠実度は保証されません。さらに、既存のHSI合成モデルは、一般的に制御不能であるか、単一条件の制御しかサポートしていないため、正確で信頼性の高いHSIを生成する能力が制限されています。これらの問題を軽減するために、本研究では、潜在拡散に基づき、より正確で信頼性の高いHSI生成を可能にする、マルチコンディション制御をサポートする新しいHSI生成基盤モデルであるHSIGeneを提案します。スペクトル忠実度を維持しつつ、学習データの空間的多様性を高めるために、空間超解像に基づく新しいデータ拡張手法を提案します。この手法では、まずHSIをアップスケールし、高解像度のHSIをクロッピングすることで、豊富な学習パッチを取得できるようにします。さらに、拡張データの知覚品質を向上させるために、2段階のHSI超解像フレームワークを導入します。このフレームワークでは、まずRGBバンドの超解像を行い、次に、提案する矩形ガイド付き注意ネットワーク（RGAN）を用いて、ガイド付きHSI超解像を行います。実験の結果、提案モデルは、ノイズ除去や超解像などのダウンストリームタスクのために、現実的なHSIを大量に生成できることが実証されました。コードとモデルはhttps://github.com/LiPang/HSIGeneで公開されています。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• hyperspectral-image-analysis
• image-generation
• diffusion-models

[fulfulggg]

論文要約

HSIGene: ハイパースペクトル画像生成のための基盤モデル 論文要約

背景

• ハイパースペクトル画像（HSI）は多くの分野で重要だが、取得コストが高く、データ不足が課題。
• 既存のHSI生成モデルは、データ不足による生成画像の信頼性・多様性の低さ、スペクトル忠実度の不足、制御性の低さが問題。

HSIGene の提案

本論文では、高精度で信頼性の高いHSI生成を実現する、マルチコンディション制御可能な基盤モデル HSIGene を提案する。

HSIGene の特徴

• 潜在拡散モデルに基づくアーキテクチャ: より正確で信頼性の高いHSI生成を実現
• 空間超解像に基づくデータ拡張手法: スペクトル忠実度を維持しつつ、学習データの空間的多様性を向上
  • HSIをアップスケール後、高解像度HSIをクロッピングすることで豊富な学習パッチを取得
  • 拡張データの品質向上のため、2段階HSI超解像フレームワークを採用
    • RGBバンドの超解像後、矩形ガイド付き注意ネットワーク（RGAN）を用いたガイド付きHSI超解像を実施
• マルチコンディション制御: より柔軟で多様なHSI生成が可能

実験結果

HSIGeneは、ノイズ除去や超解像などのダウンストリームタスクにおいて、現実的なHSIを大量に生成できることが実証された。

コードとモデル

https://github.com/LiPang/HSIGene にて公開されている。