liuyuan-pal / Gen6D

[ECCV2022] Gen6D: Generalizable Model-Free 6-DoF Object Pose Estimation from RGB Images
GNU General Public License v3.0
605 stars 75 forks source link

Clarification on Object Pose Estimation Using Cropped Point Cloud from COLMAP #132

Open 2hangy opened 10 months ago

2hangy commented 10 months ago

您好!

首先感谢您分享这个优秀的项目。我对您对COLMAP的使用有一些疑问。我有以下几个问题:

在您的方法中,您使用COLMAP对reference images进行三维重建,从而得到了每个图片的相机位姿和场景的稀疏点云。对于custom object的预测时,需要通过裁剪点云来专注于场景中的特定物体。那么,裁剪后的物体点云是如何用于估计物体相对于拍摄图像的相机的位姿?是否需要额外的转换矩阵或步骤来从相机位姿转换为物体位姿?我阅读代码时,发现点云只用于确认物体的bbox的x轴和z轴方向以及物体的大小。 最后,我想确认我的理解是否正确:在您的方法中,裁剪后的点云直接用于估计物体位姿,而无需额外的位姿变换步骤,因为世界坐标系已经被定义为等同于物体坐标系。这样理解是否准确?

期待您的回复!