AiuniAI / Unique3D

[NeurIPS 2024] Unique3D: High-Quality and Efficient 3D Mesh Generation from a Single Image
https://wukailu.github.io/Unique3D/
MIT License
3.1k stars 248 forks source link

关于多视图扩散模型和法线模型的训练问题 #94

Closed lz233-alt closed 2 months ago

lz233-alt commented 2 months ago

我不得不说这项工作的效果远远超出以往所有3d重建模型,以至于我迫不及待想要使用自己的数据集进行训练。当我在尝试制作多视图和法线图数据集的时候我遇到了一些问题。我通过代码中的NormalsRenderer可以得到3d模型的各个视角的法线图,这个法线效果很好,但是同时使用nvdiffrast对obj颜色进行渲染时,得到的图像效果很差,以至于这个图像无法作为多视图扩散模型的训练数据。你是如何从3d模型得到效果不错的多视图的?如果你是用其他3d软件渲染得到的图像,那么如何保证该图像和法线的像素能够对应?(以下是我渲染的颜色和法线,以及obj在meshlab中的渲染效果,很明显颜色图像无法作为数据集使用,因为和我们传统输入的图像差距过大,如何获得类似于3d软件中的渲染效果) render_color_view_0 target_normer_view_0 image