关于点云的问题

[yutmdfeng]

大佬您好！我是一名刚进入本科三年级的学生，刚接触三维重建这个领域，最近读了您的文章，目前正在复现mvsgs这项优秀的工作。 我看到在代码中基于colmap的三个bin文件，首先获取了一个npy，其中包含了位姿和深度信息。这个npy文件是对于训练集和测试集而言，都需要的吗？因为在很多场景下，对于测试集，我们应该是在位姿的基础上进行推理，渲染新视图。可以麻烦您给我解释一下，对于测试集，我们是否可以只给定位姿作为模型的输入？ 我看到在生成npy文件时，模型获取了点云的坐标和深度，我不清楚它是否对测试集也进行了同样的操作，如果是的话，是不是相当于“作弊”了，也可能是我理解的不太对，麻烦大佬解释一下。

[TQTQliu]

您好，谢谢您对我们工作的关注！

对于测试的过程，只需要指定渲染的视角（位姿）即可。根据指定的新视角，其附近的N张已知视图（训练集里的视图）会作为网络的输入，然后网络输出该视角下合成的视图。

模型推理过程中只使用了npy文件里视图的相机位姿和深度范围(depth_max和depth_min)，并没有使用COLMAP得到的点云。