xq141839 / DCSAU-Net

Elsevier-CIBM-2023: A deeper and more compact split-attention U-Net for medical image segmentation
https://www.sciencedirect.com/science/article/pii/S0010482523000914
Apache License 2.0
72 stars 16 forks source link

关于复现ISIC2018结果 #21

Closed Caipengzhou closed 1 year ago

Caipengzhou commented 1 year ago

亲爱的作者: 您好,感谢您百忙之中抽出宝贵的时间来阅读讯息.。本人对DCSAU-Net非常感兴趣,我想复现DCSAU-Net,目前存在一些问题,如下: 问题一:在ISIC2018数据集,您使用的是ReduceLROnPlateau来优化学习率,是根据验证集还是训练集上的损失,还是验证集上的上的IoU还是训练集上的IoU来调整学习率? 问题二:关于您在训练512x512的ISIC2018数据集时,设置batch=16,会使用多大的显存呢?

xq141839 commented 1 year ago

非常感谢您对我们工作的认可。如果用ReduceLROnPlateau来优化学习率,可以以验证集上的IoU作为标准。在训练512x512的ISIC2018数据集时,当时设置batch=16,但是会把validation的batch调小。不过当时也试过batch=8,对结果也没啥影响。我记得标准的256x256, batch=16 下的显存占用应该是24g这样。我用的32g v100的卡。

Caipengzhou commented 1 year ago

非常感谢您的解答,还存在一些疑问:对于512x512的ISIC2018数据集,您是用的ReduceLROnPlateau来优化学习率吧? 我使用验证机上的IoU作为标准代码修改如下: if phase == 'valid': scheduler.step(epoch_acc)

exp_lr_scheduler = lr_scheduler.ReduceLROnPlateau(optimizer_ft, mode='max', patience=5, factor=0.1,min_lr=1e-6)这个学习率的优化里面的参数这个吗

Caipengzhou commented 1 year ago

我在复现512x512的代码时,超参数的设置和您的论文中一致的,可是需要用到64G的显存(4张3090,共96G),为什么您32G的v100就足够了呢?您的原始数据是否存在很多的不同大小的不同的分辨率image和mask?

xq141839 commented 1 year ago

非常感谢您的解答,还存在一些疑问:对于512x512的ISIC2018数据集,您是用的ReduceLROnPlateau来优化学习率吧? 我使用验证机上的IoU作为标准代码修改如下: if phase == 'valid': scheduler.step(epoch_acc)

exp_lr_scheduler = lr_scheduler.ReduceLROnPlateau(optimizer_ft, mode='max', patience=5, factor=0.1,min_lr=1e-6)这个学习率的优化里面的参数这个吗

对的,不过在不同数据集中参数可能需要微调,但是一般都能达到sota效果,即使不优化学习率

xq141839 commented 1 year ago

我在复现512x512的代码时,超参数的设置和您的论文中一致的,可是需要用到64G的显存(4张3090,共96G),为什么您32G的v100就足够了呢?您的原始数据是否存在很多的不同大小的不同的分辨率image和mask?

我一般都会在训练之前直接先把样本都resize 到512x512 然后保存,这样训练时数据读取也会快一点。但是当时可能是用batch=8训练的。这个其实没多大影响,有多少显存资源就用多少:)

Caipengzhou commented 1 year ago

好的,感谢您的解答

Caipengzhou commented 1 year ago

作者,您好,我今天复现了ISIC2018的数据集,结果没有达到预期,可以通过qq或者vx交流一下吗? qq:2052930980