Learning Camera-Aware Noise Models

[tkuri]

論文概要

イメージセンサのノイズモデルは従来、統計的なモデルを採用していたが、実世界のノイズは遥かに複雑な挙動をしておりモデルだけで記述するのが困難。そこで実世界のノイズからデータドリブンでノイズモデルを学習し、カメラ毎に異なる特性のノイズを生成できることを示した。

提案するアーキテクチャは、ノイズ生成ネットワークとカメラ符号化ネットワークから構成。クリーンな画像とポアソンガウスノイズモデルからサンプリングされた初期合成ノイズを入力として生成器のEncoderに入れ、カメラ特性を表す潜在ベクトルを中間層で結合して、Decoderで合成ノイズを生成する。

ノイズのもっともらしさを定量的（KL divergence）、定性的に比較しベンチマーク手法と比較して大幅な性能向上。また提案手法を利用して学習したノイズリダクション処理でも定量的(PSNR/SSIM)な性能向上を確認。実世界データだけを使ったものと同等の性能。

https://www.ecva.net/papers/eccv_2020/papers_ECCV/html/4617_ECCV_2020_paper.php

Code (PyTorch)

https://github.com/arcchang1236/CA-NoiseGAN

感想

イメージセンサのノイズモデルを本当に完璧に再現できたらノイズを無限にエミュレートできるので、ノイズ除去の性能が上がるのはわかるが、ノイズモデルが通常センサの実運用上の強烈なボトルネックかは少し疑問。Quantaイメージセンサとか限界を追求している系の方がハマる気がする。