Reflection Separation using a Pair of Unpolarized and Polarized Images

論文概要

ガラスの反射を除去(透過層と反射層を分離)するために、偏光画像と非偏光画像のペアを利用する。従来は3枚以上の(偏光)画像を必要としていたがシステムがより簡略化可能になる。半反射体(ガラス等)の方位推定をまず行い、物理的な制約に基づき反射層の分離を行ったのがキモ。

半反射体がほぼ平面であると仮定している。偏光物理モデルを使うと半反射体の表面法線が既知なら閉じた形で分離をすることができるが、更にNNで洗練させる。非偏光画像を使用しており偏光を取得する際の劣化(解像度・感度)の影響を最小限に抑えることができる。将来的なスマホへの搭載可能性を示唆。