search

zju3dv / disprcnn

Code release for Stereo 3D Object Detection via Shape Prior Guided Instance Disparity Estimation (CVPR 2020, TPAMI 2021)
Apache License 2.0
213 stars 36 forks source link

disparity pseudo-ground-truth #40

Open Jianqiang-Mei opened 2 years ago

Jianqiang-Mei commented 2 years ago

请问作者大大论文中的disparity pseudo-ground-truth 那个图是怎么生成的呀，在哪里可以看到

ootts commented 2 years ago

如果你是指Fig.5第三行，用plt.imshow(mask*disp,'jet');plt.show()

Jianqiang-Mei commented 2 years ago

这个我搞定了，想顺便问下大佬，怎么直接输出训练好的stereo_mask_rcnn预测的mask结果呀，我想做个对比试验，谢谢你

Jianqiang-Mei commented 2 years ago

因为我发现vob和pob不同训练次数在val上的AP2d精度居然一样，所以想输出mask看一下

ootts commented 2 years ago

2d detector的box branch用的stereo rcnn。已经fix住了，没有训练。

ootts commented 2 years ago

这个参考visualiz.ipynb

Jianqiang-Mei commented 2 years ago

我发现disprcnn对于很多非小轿车形状的车辆的预测，其实例视差都预测为小轿车的形状，请问这时受pseudo-ground-truth训练的影响吗

Jianqiang-Mei commented 2 years ago

如果只用稀疏的lidar点云进行训练，是不是形状估计会更精确一点

Jianqiang-Mei commented 2 years ago

考虑到实际场景中还会有卡车、货车这种和小轿车形状差异较大的车辆

Jianqiang-Mei commented 2 years ago

2d detector的box branch用的stereo rcnn。已经fix住了，没有训练。

可是如果只训练了idispnet，这并不会影响mask的预测呀，请问你们是先用pseudo-ground-truth训练好了stereo_rcnn，然后再将其fix的吗

Jianqiang-Mei commented 2 years ago

问题有点多，希望大佬能解惑一下，谢谢呀

ootts commented 2 years ago
  1. disprcnn对于很多非小轿车形状的车辆的预测，其实例视差都预测为小轿车的形状 是因为训练数据中多小轿车，卡车被kitti evaluation忽略，因此我们也没有训练卡车。
  2. 只训练了idispnet，这并不会影响mask的预测呀？不会。mask是在smrcnn里的mask branch.在idispnet之前。
  3. 稀疏的lidar使得监督信号sparse，尤其是比较远的车辆。不利于idispnet的训练
Jianqiang-Mei commented 2 years ago

谢谢大佬

Jianqiang-Mei commented 2 years ago

2d detector的box branch用的stereo rcnn。已经fix住了，没有训练。

既然stereo rcnn被fix住了，有什么方法可以在新的双目图像数据集上做可视化预测吗

ootts commented 2 years ago

inference是可以的

Jianqiang-Mei commented 2 years ago

inference是可以的 请问能说下具体怎么操作吗

Jianqiang-Mei commented 2 years ago

我试了，好像只能得到roi区域的inference结果，大佬能说下mask区域怎么inference的吗