增加深度约束和渲染？

[huster-wugj]

作者你好，非常好的工作，特别是远处和少纹理的处理方面。同时 3dgs原作者最新有一篇文章提到增加单目深度估计渲染，，是不是有计划增加上去呢？

[jianglh-WHU]

感谢你对我们工作的认可，请问你指出的“3dgs原作者最新有一篇文章提到增加单目深度估计渲染”是哪一篇论文呢

[huster-wugj]

感谢你对我们工作的认可，请问你指出的“3dgs原作者最新有一篇文章提到增加单目深度估计渲染”是哪一篇论文呢

A Hierarchical 3D Gaussian Representation for Real-Time Rendering of Very Large Datasets The sparse camera captures that we have do not provide enough information for good quality reconstruction, e.g., for the street in urban driving scenarios. We perform monocular depth prediction, scale and shift the depth based on the SfM points and use it to regularize the optimization. This results in improvement in visual quality, especially for the road (see Sec. 8). We provide the details of this process in Appendix C. 如果有计划增加推出深度监督（利用depth anything v2）以及去动态等后续工作，请告知，等待好消息。

[jianglh-WHU]

我尝试过在matrixicity数据集的街景数据重建中加入深度监督，是有效的。你可以对于octree-gs渲染出的depth直接加上深度监督即可，后续团队应该暂时不会专门针对深度监督和去动态设计一些后续工作。

[LaFeuilleMorte]

作者你好，非常好的工作，特别是远处和少纹理的处理方面。同时 3dgs原作者最新有一篇文章提到增加单目深度估计渲染，，是不是有计划增加上去呢？

单目深度无法保证多视角的一致性吧，你有很多图片，但是估计出来的深度不一样，然后可能会累积误差，越学越差，不过我觉得多视图深度/法线约束是可以的。

[jianglh-WHU]

你可以参考一下hierarchical-3dgs

[huster-wugj]

最近在尝试hierarchical-3dgs 这篇方案，不过路面等少纹理的场景还是不大好。另外3dgs的致密化策略还是有点不是很好，导致点云没有很好的几何结构。

[huster-wugj]

作者你好，非常好的工作，特别是远处和少纹理的处理方面。同时 3dgs原作者最新有一篇文章提到增加单目深度估计渲染，，是不是有计划增加上去呢？

单目深度无法保证多视角的一致性吧，你有很多图片，但是估计出来的深度不一样，然后可能会累积误差，越学越差，不过我觉得多视图深度/法线约束是可以的。

mvs是个很好的方案，传统的mvs也可以有很好的几何。对于法线约束还没有进行相关实验。不知道有没有类似的文章参考一下

[LaFeuilleMorte]

最近在尝试hierarchical-3dgs 这篇方案，不过路面等少纹理的场景还是不大好。另外3dgs的致密化策略还是有点不是很好，导致点云没有很好的几何结构。 确实，vanilla gs对初始化点云太敏感了，gaussian只能在初始化点云附近生长，colmap无法在弱纹理表面给足够的点云，结果就是那些表面重建的很差。不过我觉得scaffold-gs和octree-gs还是不错的，似乎对初始化点云鲁棒一些。