End-to-End Learning for Joint Image Demosaicing, Denoising and Super-Resolution

[tkuri]

論文概要

RAW画像のデモザイク、ノイズ除去、超解像を同時に行いRGBを出力するEnd2EndのNN。スケーラブルな設計がキモでパラメータであるノイズレベルを０、スケールを１に設定すればノイズ除去と超解像の動作をOFFにできる。様々な手法を体系的に検討し提案手法と比較し優位性を確認。

https://openaccess.thecvf.com/content/CVPR2021/html/Xing_End-to-End_Learning_for_Joint_Image_Demosaicing_Denoising_and_Super-Resolution_CVPR_2021_paper.html

Code

未確認。

感想

デモザイク前にノイズ除去をすることでデモザイク後の相関ノイズのフィルタリングが複雑にならないようにすべきだったり、超解像はカラーチャンネル間の相関を利用することができるためデモザイク後に行うと良いだったり、ISPのあるべき順番について根拠つきで語っているのが参考になる。