Open tkuri opened 4 years ago
Googleストリートビュー(GSV)の画像を任意の空状態と太陽の位置でリライティングできる。GSVの時間的に変化のあるデータセットから、恒久的に変わらない幾何情報と、シーン毎に変化する照明情報を分離するように上手くモデル化したのがポイント。
いわゆる従来のIntrinsics分解問題はShadingとReflectanceに分解していたが、これはまずShadingの中にも時間的に変化する部分とそうでない部分があって分解できるよね、という考えから。Reflectanceは入力画像からShadingを引いて得る。独立してNetworkで算出しないのは、高周波の再現性が難しいから。
また、GSV画像は静止したカメラで撮影したものではないので、各スタック画像は完全に同じ位置にあるわけではない。そこでスタック内の画像を最適にアライメントする2Dのワーピングを適用。その際に推定したReflectance画像を用いることで光量等に左右されず位置合わせ誤差を最適化できるとのこと。ECCV2020 Spotlight。
https://factorize-a-city.github.io/
論文概要
Googleストリートビュー(GSV)の画像を任意の空状態と太陽の位置でリライティングできる。GSVの時間的に変化のあるデータセットから、恒久的に変わらない幾何情報と、シーン毎に変化する照明情報を分離するように上手くモデル化したのがポイント。
いわゆる従来のIntrinsics分解問題はShadingとReflectanceに分解していたが、これはまずShadingの中にも時間的に変化する部分とそうでない部分があって分解できるよね、という考えから。Reflectanceは入力画像からShadingを引いて得る。独立してNetworkで算出しないのは、高周波の再現性が難しいから。
また、GSV画像は静止したカメラで撮影したものではないので、各スタック画像は完全に同じ位置にあるわけではない。そこでスタック内の画像を最適にアライメントする2Dのワーピングを適用。その際に推定したReflectance画像を用いることで光量等に左右されず位置合わせ誤差を最適化できるとのこと。ECCV2020 Spotlight。