search

hustvl / 4DGaussians

[CVPR 2024] 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
https://guanjunwu.github.io/4dgs/
Apache License 2.0
2.25k stars 187 forks source link

如何实现增量式重建？ #131

Closed Carloslius closed 6 months ago

Carloslius commented 7 months ago

您好，非常感谢您分享您出色的工作！ 我想请教您一个问题，您的代码中是在一开始一次性传入了所有的点来重建3dgs场景，如果我想从一个带有深度信息的连续视频帧中反投影得到点云，然后增量式的将每帧新视野中的点添加到3dgs场景中，这时候对于时间应该怎样处理？这时候的deform_network还可以计算出这些后续新添加的gs体的位置吗？

guanjunwu commented 6 months ago

你好，4D-GS用于增量式重建的主要限制是对时间戳的处理。我们在数据集的预处理中，将所有的时间戳统一压缩到[0,1]范围中，对于增量式重建，如何对新进来的时间分配一个时间戳是一个值得探究的问题，你可以参考一下这篇基于3DGS的增量式重建论文：3DGStream，它提出了更加系统性的解决方案。当然我认为时间和存储开销还是可以进一步优化的~

Carloslius commented 6 months ago

好的，谢谢您的指导！