zesenwu23 / USL-VI-ReID

The implementation of cvpr 2023 paper "Unsupervised Visible-Infrared Person Re-Identification via Progressive Graph Matching and Alternate Learning"
MIT License
36 stars 5 forks source link

关于stage1与复现结果 #9

Closed whji09 closed 3 months ago

whji09 commented 3 months ago

您好,非常感谢您提供的代码。目前训练分为两阶段,第二阶段基于第一阶段的训练结果进行继续训练,请问您是否能够提供第一阶段的训练文件,例如model_best.pth.tar和checkpoint.pth.tar。 目前,我们基于您的代码进行复现时发现,训练结果无法达到预期,在第二阶段的epoch=6时,r1=37%,因此,后续测试时,all_search的r1=45,indoor_search的r1=60。这与您所提供日志文件相差甚大,因此猜想是否是第一阶段的训练结果不准确。因此,希望您能够提供第一阶段的训练结果以供参考! 非常感谢~

zesenwu23 commented 3 months ago

感谢关注,第一阶段的模型我们已经上传:https://drive.google.com/drive/folders/1NIpM5uv9_DUbCafwy7Z28yXPnMXxNtss?usp=drive_link

不过根据之前经验第一阶段相对稳定,如果无法解决问题不妨将训练log抄送给我。

whji09 commented 3 months ago

感谢您的回复!基于您第一阶段的模型,我们再次训练第二阶段,发现最终结果依旧无法到达预期。在第二阶段的epoch=6时,r1=41.86;后续测试时,all_search的r1=51,indoor_search的r1=54。而我们发现在您提供的日志文件中,epoch=6时,r1=45,在epoch=21时,r1=55,后续测试时,all_search的r1=56,indoor_search的r1=57 在没有改动您代码的前提下,且配置与您保持相同(4张3090),对于无法达到预期效果这一点我们非常疑惑。

以下附上第二阶段的训练log,期待您的答复! log.txt

zesenwu23 commented 3 months ago

感谢您的回复!基于您第一阶段的模型,我们再次训练第二阶段,发现最终结果依旧无法到达预期。在第二阶段的epoch=6时,r1=41.86;后续测试时,all_search的r1=51,indoor_search的r1=54。而我们发现在您提供的日志文件中,epoch=6时,r1=45,在epoch=21时,r1=55,后续测试时,all_search的r1=56,indoor_search的r1=57 在没有改动您代码的前提下,且配置与您保持相同(4张3090),对于无法达到预期效果这一点我们非常疑惑。

以下附上第二阶段的训练log,期待您的答复! log.txt

这确实令人困惑,我看了你们的log,在聚类时候时类数量就和我的产生了差异,理论上来说应该是一致的,我们多轮测试即使有波动也不会这么大。也许DBSCAN的不同版本对聚类效果影响较大,我推荐使用 scikit-learn==0.22.1 ,这是我使用的版本,我建议可以先试试。 明天如果不行,我们再尝试对齐所有的依赖库。 很期待你们的回复。

zesenwu23 commented 3 months ago

感谢您的回复!基于您第一阶段的模型,我们再次训练第二阶段,发现最终结果依旧无法到达预期。在第二阶段的epoch=6时,r1=41.86;后续测试时,all_search的r1=51,indoor_search的r1=54。而我们发现在您提供的日志文件中,epoch=6时,r1=45,在epoch=21时,r1=55,后续测试时,all_search的r1=56,indoor_search的r1=57 在没有改动您代码的前提下,且配置与您保持相同(4张3090),对于无法达到预期效果这一点我们非常疑惑。

以下附上第二阶段的训练log,期待您的答复! log.txt

我想我可能发现原因了。根据你们的log,sysu_ir的数据集加载过程中,发现你们的数据集数量不对。SYSU的ID为395,而IR个数为11909。你们的数据集分别为367和11333。而RGB部分的数据也不完全正确。建议你们直接下载仓库里预处理好的数据集,以保证后续实验的一致性。 期待你们的回复。

whji09 commented 3 months ago

感谢您的回复!基于您第一阶段的模型,我们再次训练第二阶段,发现最终结果依旧无法到达预期。在第二阶段的epoch=6时,r1=41.86;后续测试时,all_search的r1=51,indoor_search的r1=54。而我们发现在您提供的日志文件中,epoch=6时,r1=45,在epoch=21时,r1=55,后续测试时,all_search的r1=56,indoor_search的r1=57 在没有改动您代码的前提下,且配置与您保持相同(4张3090),对于无法达到预期效果这一点我们非常疑惑。 以下附上第二阶段的训练log,期待您的答复! log.txt

我想我可能发现原因了。根据你们的log,sysu_ir的数据集加载过程中,发现你们的数据集数量不对。SYSU的ID为395,而IR个数为11909。你们的数据集分别为367和11333。而RGB部分的数据也不完全正确。建议你们直接下载仓库里预处理好的数据集,以保证后续实验的一致性。 期待你们的回复。

非常感谢您的答复!根据仓库预处理好的数据集,最终的实验数据为all_search的r1=54,indoor_search的r1=54,已基本达到预期实验效果。

zesenwu23 commented 3 months ago

感谢您的回复!基于您第一阶段的模型,我们再次训练第二阶段,发现最终结果依旧无法到达预期。在第二阶段的epoch=6时,r1=41.86;后续测试时,all_search的r1=51,indoor_search的r1=54。而我们发现在您提供的日志文件中,epoch=6时,r1=45,在epoch=21时,r1=55,后续测试时,all_search的r1=56,indoor_search的r1=57 在没有改动您代码的前提下,且配置与您保持相同(4张3090),对于无法达到预期效果这一点我们非常疑惑。 以下附上第二阶段的训练log,期待您的答复! log.txt

我想我可能发现原因了。根据你们的log,sysu_ir的数据集加载过程中,发现你们的数据集数量不对。SYSU的ID为395,而IR个数为11909。你们的数据集分别为367和11333。而RGB部分的数据也不完全正确。建议你们直接下载仓库里预处理好的数据集,以保证后续实验的一致性。 期待你们的回复。

非常感谢您的答复!根据仓库预处理好的数据集,最终的实验数据为all_search的r1=54,indoor_search的r1=54,已基本达到预期实验效果。

再次感谢关注。在基于Cluster Contrast的结构中,无监督设定下难以保证像有监督一样到达多次非常稳定的效果,方法中亦有一些超参比如损失中的权重参数等,对于自己的环境进行微调应该有更进一步的可能。有更多问题请继续联系我:zesenwu@whu.edu.cn。