search

hustvl / 4DGaussians

[CVPR 2024] 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
https://guanjunwu.github.io/4dgs/
Apache License 2.0
2.25k stars 187 forks source link

针对单相机的提问 #177

Closed shenqianxiang closed 4 months ago

shenqianxiang commented 4 months ago

我有一个疑问，如果是多相机的情况下，每个时间步都可以产生gt与预测进行对比，但是单相机呢，初始场景和gt是怎么产生的？

guanjunwu commented 4 months ago

在实验条件下，gt有两种：

  1. 用若干个相机同时拍摄，一个相机训练，其他的相机用来测试
  2. 一个相机拍摄，中间取几帧做test
shenqianxiang commented 4 months ago

原谅我只是一个小白，我的意思是，单摄像机移动拍摄动态场景，如何构建初始的点云？ 据我所知，多摄像机可以通过sfm构建每个时间步的点云

guanjunwu commented 4 months ago

单目可以当做多摄像机，每个摄像机只在一个timestamp拍摄照片来做。事实上sfm重建匹配点云的时候动态的部分会匹配不上，所以只会提供静态的点云。

shenqianxiang commented 4 months ago

假设有n个相机 to时刻就有n张照片 可以用sfm t1时刻还是有n张照片 继续用sfm 假设只有1个相机 t0时刻1张照片 t1时刻一张照片 tm时刻一张照片 用m个时刻加起来的m张照片来构建一个匹配上静态的点云？

guanjunwu commented 4 months ago

重新理一下：

  1. 单目相机：n个时刻n张照片，我们直接把这n张照片送给sfm，sfm会进行重建并匹配点云。由于sfm是基于静态的假设，所以动态的部分通常不会有点云匹配出来，而静态的部分会有点云初始化。
  2. 多目相机：4DGS中会用t=0时刻的照片送入sfm初始化点云。
shenqianxiang commented 4 months ago

感谢你的耐心解答