search

LinShan-Bin / OccNeRF

Code of "OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments".
Apache License 2.0
318 stars 18 forks source link

nucenes-mini Dataset: depth trainning problems #25

Open JLeere opened 3 months ago

JLeere commented 3 months ago

image 您好, 非常感谢你出色的工作,, 我在复现模型时遇到一些问题请教一下. 我使用nucenes-mini 数据集在3090中微调depth模型, 我将Voxel-size参数调到您推荐的大小, 然后将contracted_coord, infinite_range,auxiliary_frame都设置为了False, 打印出generate_images_pred预测的图像很多都是大面积的失真, 然后观察输出的深度的min和max差距很小, 均为最小0.1附近. 按照您的经验, 这可能是什么原因造成的呢?

LinShan-Bin commented 3 months ago

感谢您的关注！有三个可能：

  1. 改变超参下微调模型时，预训练模型可能不是一个很好的初始化；
  2. 模型刚开始训练的时候初始深度较小，投影时全部被 mask 掉而没有投到参考图片上，可以尝试增大采样的最小距离；
  3. loss_distortion 的权重过大，可能要根据其他参数调整，尝试降低 loss_distortion 的权重。
XiangFeng66 commented 1 month ago

@JLeere 你好，请问你是否能分享一下，mini data的train.txt val.txt

JLeere commented 1 month ago

val.txt train.txt @XiangFeng66 这是mini数据集的

XiangFeng66 commented 1 month ago

@JLeere 感谢你的回答，这对我很有帮助，万分感谢

XiangFeng66 commented 1 month ago

@JLeere 很抱歉再次打扰到您，我在使用您的train，val.txt文件时，遇到了如下问题，FileNotFoundError: [Errno 2] No such file or directory: './data/nuscenes/nuscenes_semantic/samples/CAM_FRONT/n008-2018-08-01-15-16-36-0400__CAM_FRONT__1533151607512404_mask.bin' 您知道是什么原因吗