Windsrain / Selective-Stereo

[CVPR 2024 Highlight] Selective-Stereo: Adaptive Frequency Information Selection for Stereo Matching
MIT License
115 stars 12 forks source link

关于scene flow数据集训练问题 #7

Closed S1aoXuan closed 1 month ago

S1aoXuan commented 6 months ago

作者您好,我想问问您在您的实验环境中训练大概用了几天时间呢? 方便贴出您训练selective-IGEV时的scene-flow-epe的训练曲线吗?

Windsrain commented 6 months ago

3天。 LVN83}S JO} 27Q3)2DXVUV

S1aoXuan commented 6 months ago

非常感谢您!!

S1aoXuan commented 6 months ago

作者您好,我用您的代码在我的电脑上跑了20k,目前的结果跟您的差距很大,EPE几乎是您的2倍了,是不是配置的环境有问题。 image 我的环境是pytorch1.13.1 cuda11.7

Windsrain commented 6 months ago

检查timm版本是不是0.5.4,所有参数是不是都没改,训练集数量是不是35454

S1aoXuan commented 6 months ago

是的,我直接git下来然后换了自己的数据集路径 奇怪的是,我用这个环境直接跑IGEV-Stereo是没有问题的

Windsrain commented 6 months ago

你的问题我没出现过,你可尝试把源码里我的模块先注释掉,这样就相当于IGEV,跑一下看看有没有问题

S1aoXuan commented 6 months ago

好的,我试一试

Windsrain commented 6 months ago

看看你的tensorboard里1px曲线在20k是多少

S1aoXuan commented 6 months ago

0.6849

Windsrain commented 6 months ago

这个太低了,我这边10k有0.83。得看看预训练backbone有没有加载上

S1aoXuan commented 6 months ago

这个该如何查看呢?代码最开始运行的时候有提示Loading pretrained weights from url

Windsrain commented 6 months ago

因为上传到github的代码我目前还没有多余的卡去重新训练检查,我建议你先把我的模块代码复制到你运行正常的IGEV里,等我之后放出正式版本。

S1aoXuan commented 6 months ago

好的

Windsrain commented 6 months ago

我这边检查过了,github上的Selective-IGEV确实训练有问题,稍后我会重新提交一个版本。

Windsrain commented 6 months ago

问题已定位在Selective-IGEV/core/stereo_datasets.py第81行,把-disp改成disp就行。因为Selective-RAFT沿用RAFT,所以用的是坐标差即负视差,但Selective-IGEV沿用IGEV,直接用disp就行。新版本已更新。

S1aoXuan commented 6 months ago

谢谢您,我目前是将您的模块插入到IGEV-Stereo中在运行,目前也是正常的