search

hustvl / 4DGaussians

[CVPR 2024] 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering
https://guanjunwu.github.io/4dgs/
Apache License 2.0
2.25k stars 187 forks source link

Question about Densification #180

Closed cdfan0627 closed 2 days ago

cdfan0627 commented 3 months ago

您好，非常感謝您release code，想請問一下我在gaussian_model.py看到你在Densification的時候只考慮了canonical gaussian 的Densification，並沒有考慮deform後的gaussian的Densification，例如下面的連結的code只考慮了canonical gaussian 的scaling，這樣在Densification時是否不太合理呢? https://github.com/hustvl/4DGaussians/blob/master/scene/gaussian_model.py#L448

guanjunwu commented 3 months ago

你好，这的确是一种简化的假设，在deform之后的Gaussian作densification按理说是更合理的，但是我们很难将deform之后的Gaussian和canonical Gaussian对应起来（具体可以参考Dynamic Gaussian Mesh，额外训了一个网络，但是这样做会增加计算开销。）

cdfan0627 commented 3 months ago

非常感謝您的解答，想再請問一下你們有試過flow supervision或depth surpervison嗎? 因為我目測試起來發現效果並沒有改善，所以我正在想會不會是densification的原因。

guanjunwu commented 3 months ago

我们都试过，感觉flow supervision一次好像也只渲染timestamp相邻的2-3张图，所以不是很有用。但是depth在某些单目场景是有成效的。主要还是deformationfield有时候会陷入local minima

vamWu commented 3 months ago

非常感謝您的解答，想再請問一下你們有試過flow supervision或depth surpervison嗎? 因為我目測試起來發現效果並沒有改善，所以我正在想會不會是densification的原因。 你好，请问你提到的flow supervision 是指使用optical flow来做监督吗？ 我最近也关注到了相关的内容，试图加入一个类似的flowloss来改善reconstruction的效果，但是如您所说似乎提升的很微弱？

cdfan0627 commented 3 months ago

對的，我是用optical flow来做监督，我目前是效果不只沒上升反而有下降

guanjunwu commented 2 days ago

用flow有一些类似的文章，可以参考： Lin Y, Dai Z, Zhu S, et al. Gaussian-flow: 4d reconstruction with dynamic 3d gaussian particle[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024: 21136-21145.

Zhu R, Liang Y, Chang H, et al. MotionGS: Exploring Explicit Motion Guidance for Deformable 3D Gaussian Splatting[J]. arXiv preprint arXiv:2410.07707, 2024.

等等。