about result accuracy on the SceneFlow and the KITTI 2015 dataset

[IceTTTb]

您好，我想请问一下您在paper中列出的算法在sceneflow上的精度是训练中的最优精度么？我在一张1080Ti上训练了basic模型，batch size = 4，其他参数与文中一致，在训练15个epoch后得到了比paper中更高的精度。此外，我在KITTI2015上进行refine时，发现最佳精度并不是出现在在第300个epoch。不过我的batch size是4，而非源码中的12，我想可能这也会有影响吧？

[youmi-zym]

你好，请问你提交到KITTI榜评估过吗？我下载了作者的代码和模型，跑了一下KITTI-2015的testing and training，发现效果并没有达到作者的2.32。。。具体的可以帮忙看一下我刚刚提交的问题，谢谢！

[IceTTTb]

@youmi-zym 您好，我目前还没有在KITTI上提交结果，但是我也没能在KITTI2015验证集上达到论文中的精度（论文table2中，basic模型是2.09%，stackhourglass模型是1.83%，我的误差是2.17%），我在想这是否和batch size的设置有关。

[Sarah20187]

@IceTTTb 我用了单块gpu train也达到了作者reported的精度，应该和总的batch size没有关系，只和单块gpu的batch size有关

[benzhangwang]

@youmi-zym 你好，关于你在kitti2015用作者训练好的模型提交后的d1-all为2.92%,而不是作者列出的2.32%，我提交后出现的结果跟你相似，请问你找到原因了么？

[youmi-zym]

不要用kitti 官方的matlab处理，submission跑完之后就直接提交结果

[benzhangwang]

恩，我将pytorch0.4 中的upsample函数的align_corners=True 就可以了，但用作者给出的验证集的d1-all错误率为0.915，也不知道是什么原因

在 2018-11-15 15:20:11，"youmi" notifications@github.com 写道： 不要用kitti 官方的matlab处理，submission跑完之后就直接提交结果

benzhangwang notifications@github.com 于2018年11月15日周四 下午1:11写道：

@youmi-zym https://github.com/youmi-zym 你好，关于你在kitti2015用作者训练好的模型提交后的d1-all为2.92%,而不是作者列出的2.32%，我提交后出现的结果跟你相似，请问你找到原因了么？

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub https://github.com/JiaRenChang/PSMNet/issues/87#issuecomment-438919962, or mute the thread https://github.com/notifications/unsubscribe-auth/AQ6nQdT3WeYWu58SD5bdLy5ydjD9CGrLks5uvPeLgaJpZM4XzOO_ .

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.

[youmi-zym]

嗯嗯，这个也是一个问题，的确需要把align_corners=True。不过0.915是啥？？在哪

[benzhangwang]

0.915是我用作者给出的训练好的模型在KITTI2015上的验证集的d1-all错误率，可以私聊哈 我的邮箱benzhang_wang@163.com,有问题还的继续向你请教。

[youmi-zym]

@benzhangwang OK, is that means the 3px error arriving at 0.915% on 40 validation images of KITTI Training data ?

[benzhangwang]

是的，可能是文章中列出夫人1.83% 3px error是训练了300 epochs ，而作者给出的训练好的模型应该是训练了1000 epochs，其验证集3px error 是0.915， kitti 2015 leaderboard上 测试集D1-all 是2.32%， 那这两者之间相差还挺大的哈。

在 2018-11-16 15:25:32，"youmi" notifications@github.com 写道：

@benzhangwang OK, is that means the 3px error arriving at 0.915% on 40 validation images of KITTI Training data ?

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or mute the thread.

[JiaRenChang]

Hi, all The published model is trained for 1000 epochs using ALL KITTI 2015 training set. This model is for our KITTI submission. It is normal that the 3-px error of val set is low because we used all training set.

[chujianjiaqi]

你好，请问一下，你得到的3px error都是使用finetune在KITTI的训练集上得到的吗，我这里不是很懂，用submission进行测试不是只能得到视差图，并没有所谓的3px error

[IceTTTb]

@chujianjiaqi 对于训练集，你可以用kitti官方给的matlab的代码去计算3px error；对于测试集，你可以提交到kitti上去看最终结果的精度。

[chujianjiaqi]

对于训练集不是在进行finetune的时候就直接有3px error吗