search

zju3dv / deltar

Code for "DELTAR: Depth Estimation from a Light-weight ToF Sensor And RGB Image", ECCV 2022
GNU General Public License v3.0
125 stars 6 forks source link

关于RGBD数据仿真TOF数据 #12

Closed Zhang-Xiaoxue closed 9 months ago

Zhang-Xiaoxue commented 11 months ago

你好，我看到您的工作训练的时候，是使用RGBD数据来仿真TOF数据，从而进行训练的。我想问一下，请问从rgbd到tof具体是怎么得到的呢？感谢您的帮助。

另外，我想问一下，您的Deltar算法可以扩展到其他TOF数据嘛？比如说3040这样的，而不是88的？需要做哪些改动呢？

谢谢，期待您的回复

eugenelyj commented 11 months ago

你好，感谢对我们工作的关注！

  1. 具体实现就在这里，https://github.com/zju3dv/deltar/blob/main/src/utils/dataloader.py#L83
  2. 可以扩展，但这个网络的设计是为了克服低分辨率的输入的，并且L5每个测量区域对应RGB的一大块，网络的设计也考虑了如何克服这个数据关联上的歧义性。正常depth super resolution这个task，实际上对应的区域小得多，所以我不确定这个网络直接拿过去效果和现在的SOTA比怎么样