search

OpenGVLab / unmasked_teacher

[ICCV2023 Oral] Unmasked Teacher: Towards Training-Efficient Video Foundation Models
https://arxiv.org/abs/2303.16058
MIT License
285 stars 15 forks source link

video-text retrieval，请教在DiDeMo数据集复现结果的问题 #28

Closed SuperHalo closed 8 months ago

SuperHalo commented 8 months ago

您好，我加载您在didemo数据集上微调的模型参数（ret_didemo_l16_25m.pth）在didemo测试集上复现结果，得到的检索结果如下图： image 与您论文中的结果不一致， image 由于基于目前的代码能够在msrvtt数据集上复现出跟论文一致的结果，所以在模型代码方面应该是没有问题的。因此我认为可能是在参数设置方面与您的不一致，导致最终结果不一致，这是我的参数设置 l16.json 能否麻烦您帮忙看看是否存在跟您不一致的地方，或者是否有其他我可能遗漏的地方？

非常感谢！

Andy1621 commented 8 months ago

您好，您的结果看起来是大致正常的，输出结果中txt_r1为V2T @1，img_r1为T2V @1。结果差异可能是测试的文件，您使用的是test集，而我默认配置中使用的是val集，这里各个论文选择有所不同，选定一个论文的baseline，使用同样的test或者val对比就可以

SuperHalo commented 8 months ago

您好，感谢您的及时解答！您的意思是，您论文中展示的是验证集上的检索结果对吗？我在val集上也进行了测试，结果也跟您论文中的结果仍然不太一样。 image

Andy1621 commented 8 months ago

时间有点久远，印象有点偏差了，我回看了一下log，当时应该val和test都测了，您可以对比log看一下config，log见这里。

SuperHalo commented 8 months ago

我对比了一下log文件，发现您的val和test集的数量和我在VINDLU上下载的不一样，更新成您的json文件，基本能跑出跟论文一样的结果。 image image 问题已解决，非常感谢您的帮助！