结果复现问题 - Githubissues

bspmpa commented 4 weeks ago

大佬，你好。我试图用你们提供的预训练模型复现same-domain的结果。发现在ICFG-PEDES 和CUHK-PEDES要比论文差10个点。。。这请问是为啥？有啥建议吗？期待回复！谢谢！

WentaoTan commented 4 weeks ago

您是说Table 4还是Table 5的实验呢？

------------------ 原始邮件 ------------------ 发件人: "WentaoTan/MLLM4Text-ReID" @.>; 发送时间: 2024年10月23日(星期三) 下午2:39 @.>; @.***>; 主题: [WentaoTan/MLLM4Text-ReID] 结果复现问题 (Issue #10)

大佬，你好。我试图用你们提供的预训练模型复现same-domain的结果。发现在ICFG-PEDES 和CUHK-PEDES要比论文差10个点。。。这请问是为啥？有啥建议吗？期待回复！谢谢！

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>

bspmpa commented 4 weeks ago

table5的，same domain的。

bspmpa commented 4 weeks ago

我没有改超参。lr:1e-5, bs:64, text-length:77。我试过不同的bs，但是ICFG-PEDES 和CUHK-PEDES 始终没有复现出论文的精度（RSTPReid效果是接近的）。请问我是漏掉了啥关键吗

WentaoTan commented 4 weeks ago

（1）首先建议使用IRRA原始代码进行finetune实验。在初始化时更换成我们的模型（2）用best0.pth fine-tune CUHK，1 ft ICFG，2 ft RSTP （3）用IRRA的setting：单卡bs=64，ce loss+sdm loss+mlm loss （4）根据其他大佬的反馈发现性能不稳定，选择不同的种子进行训练差别有2% （5）根据其他大佬的反馈，根据（1-4）是可以复现的

希望帮到你，如有疑惑欢迎随时反馈

bspmpa commented 4 weeks ago

好的，感谢大佬回复！

WentaoTan / MLLM4Text-ReID

结果复现问题 #10