search

gangweiX / IGEV

[CVPR 2023] Iterative Geometry Encoding Volume for Stereo Matching and Multi-View Stereo
MIT License
526 stars 64 forks source link

在SceneFlow上训练完，是否要在Middlebury和Eth3d数据集微调？微调多少代 #44

Open yxg19991231 opened 11 months ago

yxg19991231 commented 11 months ago

我看论文中似乎并没有提到要在这两个数据集上微调，但是只在scene flow上训练达不到论文的效果，而且作者的预训练模型就有ETH3d和Middlebury的，所以我想应该要在这两个数据集上微调，具体微调多少代？

gangweiX commented 11 months ago

我们在ETH3D和Middlebury的预训练模型是按照unimatch的方法微调的，详情可见那篇论文https://arxiv.org/pdf/2211.05783.pdf2023-10-24 11:23:00>"Xiaguang Y" 写道：

我看论文中似乎并没有提到要在这两个数据集上微调，但是只在scene flow上训练达不到论文的效果，而且作者的预训练模型就有ETH3d和Middlebury的，所以我想应该要在这两个数据集上微调，具体微调多少代？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>

yxg19991231 commented 11 months ago

这篇论文中在ETH3d和Middlebury的微调是微调两次，且都是在混合Scene flow，Tartan Air ，Sintel Stereo ，CREStereo Dataset ，InStereo 2K 和ETH 3D等数据集上，需要这么麻烦吗？能只在ETH3d和Middlebury上进行微调吗？

gangweiX commented 11 months ago

如果你想在ETH3D和Middlebury的benchmarks上测试，就需要这么麻烦。因为ETH3D和Middlebury的训练集太少了，只简单微调可能效果不好

yxg19991231 commented 11 months ago

在middlebury全分辨率上微调的时候，最大视差有调整么？调到多少比较合适？

gangweiX commented 11 months ago

我们之前训练的没有，所以效果并不是很理想。我觉得你可以试一下，比如，384，576等等。另外我们的 3d cost volume以及3d cnn是很轻量的，增大最大视差应该没有带来很大的代价