YijinHuang / pytorch-classification

A general, feasible, and extensible framework for classification tasks.
MIT License
58 stars 18 forks source link

关于未能复现您Resnet50在Eyepacs上的结果的一些疑问。 #1

Closed zeng-su123 closed 2 years ago

zeng-su123 commented 2 years ago

image

您好,我是电子科大的一名研究生,最近也在做糖尿病视网膜病变分级的研究,很兴奋看到您在Resnet50上通过调参达到很好的效果,给后续研究者一个非常高的起点,非常感谢你。

可是在复现您代码的时候遇到了一些问题,结果如上图,那是训练的过程图。 我按照您的数据预处理方法,运行crop.py对图像进行裁切。 配置也是按照您的eyepacs配置的,仅仅改了路径。 唯一的不同点在于我的验证集是从训练集里面划分的,我的训练集,验证集,测试集 分别是 28090 7027 53570,但这个应该不影响。

疑问:为什么训练过程中的Accuracy会这么低呢? 验证集的kappa也并不高。 我自己使用普通Resnet50,训练集Acc大概90% ,验证集Acc大概84% , kappa能有77%左右。 可能是我使用对您的代码使用的不对,但是我没找到具体原因,所以冒昧打扰您,请您帮忙分析一下,非常感谢您啦。
祝您安好!

YijinHuang commented 2 years ago

您好,感谢您对我们工作的兴趣。很抱歉,这是我们最新提交的代码里出现的问题。因为我们近期将我们的模型库从torchvision转移到了timm,导致了ResNet50在EyePACS上表现不佳。我们猜测是由于模型预训练参数不同引起的。我们目前已经将代码退回到了之前的版本(commit version ffc342f),请您再次尝试,应该能得到83%左右的Kappa。

关于验证集,我们之前也尝试过从训练集中划分验证集,同样能达到接近文章中的结果,因此我们认为这个应该影响不大。此外,我们pair fusion模块的代码还在整理中,预期会在近期更新至github,同时文章也有新的实验内容更新。十分感谢!

祝好

zeng-su123 commented 2 years ago

感谢您的及时回复,我是三天前下载的您的代码,这两天跑了好几次,都没有复现成功,所以来寻求您的帮助,谢谢您。我马上再去尝试一下,帮了大忙啦。祝你安好。

YijinHuang commented 2 years ago

抱歉之前的bug影响了您。如果有什么问题,欢迎再次提出,谢谢!

YijinHuang commented 2 years ago

如果还有其它问题,欢迎重新打开这个Issue。