hustvl / GaussianDreamer

GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion Models (CVPR 2024)
https://taoranyi.com/gaussiandreamer/
Apache License 2.0
589 stars 29 forks source link

About another similar paper #8

Closed M1racle-milk closed 7 months ago

M1racle-milk commented 7 months ago

想请教一下你们怎么看待另一篇同样利用3D Gaussian Spaltting来进行3D生成,但是文中声称只需要2min的。 翻译版本:I would like to ask what you think of another paper that also uses 3D Gaussian Spaltting for 3D generation, but the paper claims that it only takes 2 minutes. Paper title: DREAMGAUSSIAN: GENERATIVE GAUSSIAN SPLATTING FOR EFFICIENT 3D CONTENT CREATION Paper address:https://arxiv.org/abs/2309.16653

taoranyi commented 7 months ago

你好,感谢你的关注。我们的不同点主要是生成条件的区别,DREAMGAUSSIAN主要用于图像作为条件生成3D(文本作为条件不是他们的重点),而我们的条件是文本。

M1racle-milk commented 7 months ago

@taoranyi 感谢您的回复。实际上,在他们的Text to 3D中如果只采取原始的Stable Diffusion2.1进行优化,效果其实并不好,可能仍然需要增加迭代次数,而如果将Stable Diffusion置换为MVDream,在600次迭代次数的情况下,效果则会有一些提升,但是也只是几何上面的,但是这确实可以起到加速收敛的作用。你们虽然在SDS中用的还是Stable Diffusion,但是在一开始的点云初始化用了ShapeE,同样也具有了3D先验,我比较好奇,初始化加入3D先验与在SDS中加入,二者的效果差异,或者两个地方都加入,可不可以加速收敛,结果更好,还是说这二者之间会产生冲突?

taoranyi commented 7 months ago

很有意思的提问,如果你说的”3D先验与在SDS中加入“是指采用mvdream的sds话,我觉得是不矛盾的。首先采用初始化,可以给模型一个很好的优化起点,加快收敛。其次具有更好视角感知的sd模型可以让sds过程中避免更多的多头问题,并且由于是多视角同时优化不仅仅是多头问题,拟合速度也会更高。但是不幸的事,我初步换成mvdream的效果并不好,你可以尝试看看!如果有不错的效果,欢迎PR。

M1racle-milk commented 7 months ago

谢谢回复,受教了,我也再去探索探索。