YuxueYang1204 / TrimGS

Trim 3D Gaussian Splatting for Accurate Geometry Representation
https://trimgs.github.io/
208 stars 6 forks source link

3d高斯的tune.py运行速度稍微有些慢 #16

Closed chenqi13814529300 closed 4 months ago

chenqi13814529300 commented 4 months ago

train.py比tune.py运行速度快好几倍?为什么?

Abyssaledge commented 4 months ago

In tune.py, we need to render depth maps and calculate other losses. We cannot help you if you do not specify the adopted data and commands.

YuxueYang1204 commented 4 months ago

I suggest trying Trim2DGS instead. Trim2DGS inherently handles Normal Regularization within the rasterization pipeline, resulting in faster fine-tuning speeds. Moreover, Trim2DGS often offers more stable and better reconstruction performance.

Abyssaledge commented 4 months ago

Feel free to reopen this issue if you would like to offer more details.

chenqi13814529300 commented 4 months ago

我没看到论文关于速度的评价。以你们默认参数的情况下,原版高斯和你们修改的高斯,速度差距多少(30K的情况下)。原版2D和你们修改的2D高斯,速度差距是多少(30K的情况下)。

Abyssaledge commented 4 months ago

这个文章并不是为了加速,所以并没有专门讨论速度。你说的速度应该是指训练速度? 渲染速度是不变的。 训练速度3D情况下因为多一次深度图渲染,所以会慢2倍多。为了方便开发,我们没对这个做优化,你想加速的话,可以把rgb和depth的渲染写到一个cuda kernel里,这样就快很多了。 2D情况下相比2DGS基本不变,因为没有额外的渲染操作。

chenqi13814529300 commented 4 months ago

好的,我知道了,谢谢您的回答。

chenqi13814529300 commented 4 months ago

你们的2d高斯tune.py我测试过了,貌似失去了2d高斯多视角不变性的特点。例如下面的图片,而原始的2d高斯却不会产生这种qin情况。 image image

chenqi13814529300 commented 4 months ago

image 还有这些虚影是多出来了,不清楚是为什么

Abyssaledge commented 4 months ago
  1. 应该是trimming得比较多导致的空洞,你可以试试调大trimming的间隔,或者调小每次trimming的比例。
  2. 虚影可能是不合理的scale split导致的,可参见 https://github.com/YuxueYang1204/TrimGS/issues/3

另外你可以把你的具体训练参数发一下,我们看看有没有啥问题。 @chenqi13814529300

chenqi13814529300 commented 4 months ago

训练参数就默认参数,30K,就self.lambda_dist = 0.0 ,原始2D高斯我也是这么干的。而且你们的2D高斯跑出来的速度比较慢,原始的论文的2D是27分钟,在里面的工程中你们需要50多分钟(2d的train.py和tune.py都如此)

YuxueYang1204 commented 4 months ago

速度比2DGS慢是因为他们进行了优化,可见 https://github.com/hbb1/diff-surfel-rasterization/pull/7 我们后续也会在Trim2DGS跟进

训练参数就默认参数,30K,就self.lambda_dist = 0.0 ,原始2D高斯我也是这么干的。而且你们的2D高斯跑出来的速度比较慢,原始的论文的2D是27分钟,在里面的工程中你们需要50多分钟(2d的train.py和tune.py都如此)

chenqi13814529300 commented 4 months ago

好的,谢谢您的回复,我的问题已经解决