Learning to See in the Dark with Events

論文概要

強度変化を記録するイベントカメラ(DVS)を使い、低照度化におけるHDRシーンを十分光量があるシャープな画像に変換する。ペアの学習データを収集するのは困難なので教師なしのDomain Adaptationを利用し、表現学習を容易にするためにドメイン固有/不変特徴を明示的に分離する。

ここで言うドメイン固有特徴は高周波テクスチャなど低照度のイベントからは簡単に復元できないパターンであり、ドメイン共有特徴はシーンレベルの構造や強度分布などの情報であり、低照度イベントからも知覚できるものになっている。

DAVIS240Cカメラを使い昼間・夜間のイベントと強度画像を収集した大規模データセットを構築。このデータセットを利用した実験により、従来手法と比較し定量(PSNR/SSIM)・定性的な性能向上を確認。