请教一下指标复现上出现的一些问题

OpenGVLab / unmasked_teacher

[ICCV2023 Oral] Unmasked Teacher: Towards Training-Efficient Video Foundation Models

https://arxiv.org/abs/2303.16058

MIT License

285 stars 15 forks source link

Closed Noobb123 closed 11 months ago

Noobb123 commented 1 year ago

你好！最近学习了老哥的UMT，感觉算法性能很强大，想实操一下代码，但是使用stage-2模型（l16_25m.pth）在didemo和msvd上没有跑出论文中的指标。目前最大的gap是我使用了单卡单机做的实验，其它的基本没有修改，想向老哥请教一下，我哪里操作有问题，感谢！

msvd train.log config.json.txt （附上配置文件和评测log）

Andy1621 commented 1 year ago

可以查看google drive，我上传了之前实验训练和测试的log，您可以对照着看看有无问题，最近比较忙，实在难以帮忙debug

Noobb123 commented 1 year ago

可以查看google drive，我上传了之前实验训练和测试的log，您可以对照着看看有无问题，最近比较忙，实在难以帮忙debug

好的，我再学习一下，感谢！

Andy1621 commented 1 year ago

我抽空查了下bug，可以看看这个warning，后面会更新下结果

Noobb123 commented 1 year ago

我抽空查了下bug，可以看看这个warning，后面会更新下结果

感谢老哥帮忙debug哈！代码上没啥问题，很完整和流畅。我这边尝试启动了一下标记符trimmed30和is_paragraph_retrieval，评测结果基本上和论文指标相似了。很棒的工作，还在持续学习

Andy1621 commented 11 months ago

加油