search

ShuweiShao / AF-SfMLearner

[MedIA2022 & ICRA2021] Self-Supervised Monocular Depth and Ego-Motion Estimation in Endoscopy: Appearance Flow to the Rescue
MIT License
99 stars 15 forks source link

how to get the scale of predicted depth to gt_depth? #9

Closed lby53 closed 1 year ago

lby53 commented 1 year ago

ratio = np.median(gt_depth) / np.median(pred_depth)，例如 Endo-SLAM数据集中Low-camera中没有深度图真实值，这边的gt_depth是如何获得的？

ShuweiShao commented 1 year ago

Hi, 因为EndoSLAM数据集中Low-camera中没有深度图真实值, 所以我们没有在这个数据集上报告深度的数值精度。

lby53 commented 1 year ago

Hi，感谢您的及时回复！ 如果用自己的数据集进行单目方式训练的话，由于没有深度图真实值，无法得到缩放比例，深度预测时就得不到3D表面重建需要的缩放后的深度图。这种情况该如何解决呢？

ShuweiShao commented 1 year ago

3D重建的深度图可以是相对的，只是重建出来的场景比例可能与真实场景不同，但相对关系都是一样的

lby53 commented 1 year ago

明白了，还有一个问题，在用您文章中提到的UZ-SLAMLab的volumetric_fusion做表面重建时，该算法其中一个输入是位姿的pkl文件，想问一下您生成这个pkl文件是用UZ-SLAMLab里的tracking_ours算法生成的，还是将您的AF-SFM预测获得的位姿数据集成到volumetric_fusion算法需要的pkl文件中，再进行重建？

ShuweiShao commented 1 year ago

我们当时用的是他们的算法生成的位姿