From Shadow Segmentation to Shadow Removal

[tkuri]

論文概要

画像から影を除去するパッチベースの手法。必要な教師信号は影マスクのみ。影の物理的生成モデルを考慮して線形パラメータとマスクをNNで回帰させる。パラメータとマスクの値幅に制約を入れることで探索空間を適度に制限して教師なし学習の難易度を下げたのがキモ。

単純にペアなし問題としてCycleGAN等で教師なしマッピングをすると、2つの画像セット内の十分な統計的類似度がないと破綻することが多い。このモデルではwをスケーリング係数と仮定して値を[0,10]に制約し、更にマスクの推定は、境界部分以外は値を監視して、境界部分は監視せずNNの出力に任せる。ECCV2020。

https://arxiv.org/abs/2008.00267

感想

ablation studyでは、今回の物理ベースモデルを使用しても、探索空間の制約なしでは影の除去は適切に学習できなかったことがわかっている。探索空間を「どのように」「どれだけ」適切に制限できるのかということが、特にペアなしの教師なしマッピングにおいては重要であるということ。