[2021] Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes

[gatheluck]

論文リンク

• arXiv

公開日（yyyy/mm/dd）

2021/04/21 CVPR 2021

概要

TeX

@inproceedings{
    li2021neural,
    title={Neural Scene Flow Fields for Space-Time View Synthesis of Dynamic Scenes},
    author={Zhengqi Li and Simon Niklaus and Noah Snavely and Oliver Wang},
    booktitle=CVPR,
    year={2021}
}

[gatheluck]

• 出力：動的シーンの新しい時間・視点の生成
• 入力：姿勢が既知の単眼カメラで撮影された動画

[gatheluck]

• Neural Scene Flow Fields：動的シーンを時間可変な連続関数（f appearance, geometry, and 3D scene motion）として表現
  • シーン変化はベクトル場として表現
  • (c{i}, sigma{i}, F{i}, W{i})
  • c_{i}: color
  • sigma_{i}: volumetric density
  • F_{i}: 3D scene flow
  • W_{i}: disocclusion weights

[gatheluck]

• NeRFと同様に外挿は出来ない
• 高周波情報は復元出来ない

[gatheluck]

• scene flow fields warping loss (enforces that our scene representation is temporally consistent with the input views)

[gatheluck]

• temporal photometric consistency: scene flowを使ってワープさせた２つの時刻で、レンダリングされた時刻のMSE Lossをとる
• ただし, 見えない領域については曖昧
• scene flowのcycle consistency