cnulab / MediCLIP

Official implementation of "MediCLIP: Adapting CLIP for Few-shot Medical Image Anomaly Detection (MICCAI 2024 Early Accept)"
MIT License
36 stars 0 forks source link

关于CheXpert实验结果的问题 #6

Closed xinyanghuang7 closed 4 months ago

xinyanghuang7 commented 4 months ago

作者您好!

恭喜您中稿MICCAI并且感谢您慷慨地开源了您的代码仓库。

但是我在运行您提供的代码时却遇到了问题,具体如下:

我在试图复现CheXpert数据集k=16时进行训练得到的结果(65.9)与论文中所报告(72.5)的存在一定偏差,我并没有修改任何超参数和代码,但是还是会存在一定的结果差异。

我了解到Few-shot任务由于样本较小因此在运行不同的代码期间会存在一定的差异,因此我重复了几次,但实验结果依旧存在一定的偏差(大于5个点),请问您是否能解答我这个疑惑?

image

十分期待您的回复!

祝好!

cnulab commented 4 months ago

你好! Few-shot任务的实验结果确实会有一些波动,遇到一批bad samples确实可能会出现稍差的结果,但是你运行几次都取得了比论文中差大于5个点的偏差我认为是不可能的。

cnulab commented 4 months ago

你好! 建议你在训练过程中不要early stop, 虽然设置了两百个epoch,但实际上参数只更新了几百次,通常不会很快过拟合,我刚刚连续运行了两次,可以发现性能在100多个epoch后仍然具有改善。 logger.log logger.log

xinyanghuang7 commented 4 months ago

感谢您的解答!