关于scene flow数据集训练问题

Windsrain / Selective-Stereo

[CVPR 2024 Highlight] Selective-Stereo: Adaptive Frequency Information Selection for Stereo Matching

MIT License

107 stars 12 forks source link

Closed S1aoXuan closed 1 month ago

S1aoXuan commented 5 months ago

作者您好，我想问问您在您的实验环境中训练大概用了几天时间呢？方便贴出您训练selective-IGEV时的scene-flow-epe的训练曲线吗？

Windsrain commented 5 months ago

3天。 LVN83}S JO} 27Q3)2DXVUV

S1aoXuan commented 5 months ago

非常感谢您！！

S1aoXuan commented 5 months ago

作者您好，我用您的代码在我的电脑上跑了20k，目前的结果跟您的差距很大，EPE几乎是您的2倍了，是不是配置的环境有问题。我的环境是pytorch1.13.1 cuda11.7

Windsrain commented 5 months ago

检查timm版本是不是0.5.4，所有参数是不是都没改，训练集数量是不是35454

S1aoXuan commented 5 months ago

是的，我直接git下来然后换了自己的数据集路径奇怪的是，我用这个环境直接跑IGEV-Stereo是没有问题的

Windsrain commented 5 months ago

你的问题我没出现过，你可尝试把源码里我的模块先注释掉，这样就相当于IGEV，跑一下看看有没有问题

S1aoXuan commented 5 months ago

好的，我试一试

Windsrain commented 5 months ago

看看你的tensorboard里1px曲线在20k是多少

S1aoXuan commented 5 months ago

0.6849

Windsrain commented 5 months ago

这个太低了，我这边10k有0.83。得看看预训练backbone有没有加载上

S1aoXuan commented 5 months ago

这个该如何查看呢？代码最开始运行的时候有提示Loading pretrained weights from url

Windsrain commented 5 months ago

因为上传到github的代码我目前还没有多余的卡去重新训练检查，我建议你先把我的模块代码复制到你运行正常的IGEV里，等我之后放出正式版本。

S1aoXuan commented 5 months ago

好的

Windsrain commented 5 months ago

我这边检查过了，github上的Selective-IGEV确实训练有问题，稍后我会重新提交一个版本。

Windsrain commented 5 months ago

问题已定位在Selective-IGEV/core/stereo_datasets.py第81行，把-disp改成disp就行。因为Selective-RAFT沿用RAFT，所以用的是坐标差即负视差，但Selective-IGEV沿用IGEV，直接用disp就行。新版本已更新。

S1aoXuan commented 5 months ago

谢谢您，我目前是将您的模块插入到IGEV-Stereo中在运行，目前也是正常的