kaiwang960112 / Self-Cure-Network

This is a novel and easy method for annotation uncertainties.
404 stars 98 forks source link

关于预训练模型的问题 #58

Closed xiaoliaobin closed 6 months ago

xiaoliaobin commented 2 years ago

你好,我想请问一下你的ijba_res18_naive.path.tar预训练模型是使用MS-Celeb-1M数据集预训练的ResNet18?还是用你的SCN训练过的?我想要一份MS-Celeb-1M数据集预训练的ResNet18模型。

kaiwang960112 commented 2 years ago

这是用resnet18训的

发自我的iPhone

在 2021年9月10日,下午2:22,xiaoliaobin @.***> 写道:

 你好,我想请问一下你的ijba_res18_naive.path.tar预训练模型是使用MS-Celeb-1M数据集预训练的ResNet18?还是用你的SCN训练过的?我想要一份MS-Celeb-1M数据集预训练的ResNet18模型。

— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

xiaoliaobin commented 2 years ago

我想请问一下为什么我仅用预训练过的ResNet18跑Raf-DB准确率能达到88%?

kaiwang960112 commented 2 years ago

强~

发自我的iPhone

在 2021年9月10日,下午3:08,xiaoliaobin @.***> 写道:

 我想请问一下为什么我仅用预训练过的ResNet18跑Raf-DB准确率能达到88%?

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

LiZhiHao97 commented 2 years ago

事实上,我在使用了数据增强后,在res18的baseline上,达到了89.3的惊人效果。数据增强与预训练,貌似对FER的增幅很大。

kaiwang960112 commented 2 years ago

这个也是很强的,性能刷的飞起

发自我的iPhone

在 2021年9月24日,上午10:19,ZhiHao Li @.***> 写道:

 事实上,我在使用了数据增强后,在res18的baseline上,达到了89.3的惊人效果。数据增强与预训练,貌似对FER的增幅很大。

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

zzzzzzyang commented 2 years ago

事实上,我在使用了数据增强后,在res18的baseline上,达到了89.3的惊人效果。数据增强与预训练,貌似对FER的增幅很大。

你好,我想请问你的预训练是用imagenet还是MS-Celeb-1M,我用前者只能达到86.4,用后者产生过拟合。另外你的数据增强方式是什么,希望不吝赐教。

LiuYi-LiuYuYan commented 2 years ago

事实上,我在使用了数据增强后,在res18的baseline上,达到了89.3的惊人效果。数据增强与预训练,貌似对FER的增幅很大。

你好,我想请问你的预训练是用imagenet还是MS-Celeb-1M,我用前者只能达到86.4,用后者产生过拟合。另外你的数据增强方式是什么,希望不吝赐教。

请问一下imagenet和MS-Celeb-1M预训练的resnet18模型在哪可以找到啊,找了好久都没找到关于resnet18的预训练模型,不知道可不可以发我一份地址

yangjian1218 commented 2 years ago

@LiZhiHao97 你好,请问你用什么方式数据增强, 作者的代码已经有数据增强, 为啥我用预训练模型ijba_res18_naive跟不用,用原始的res18.测试集怎么也突破不了86%.不懂哪里出了问题

LiZhiHao97 commented 2 years ago

事实上,我在使用了数据增强后,在res18的baseline上,达到了89.3的惊人效果。数据增强与预训练,貌似对FER的增幅很大。

你好,我想请问你的预训练是用imagenet还是MS-Celeb-1M,我用前者只能达到86.4,用后者产生过拟合。另外你的数据增强方式是什么,希望不吝赐教。

是在MS-Celeb-1M上预训练的,就是作者提供的ijba_res18_naive.path.tar

LiZhiHao97 commented 2 years ago

@yangjian1218 @likerapkeyboard 重新看了下作者的代码,貌似只加了随机擦除,我测试的时候加的比较多,用了水平翻转、颜色抖动、角度旋转、随机擦除

bigcash commented 2 years ago

@yangjian1218 @likerapkeyboard 重新看了下作者的代码,貌似只加了随机擦除,我测试的时候加的比较多,用了水平翻转、颜色抖动、角度旋转、随机擦除

提醒一下,作者在60、74行有其他的增强,随机翻转、加高斯噪音 不过我训练RAF-DB一直是86%+,到不了87%啊,可能是因为我的batch_size是64的原因? 另外,我直接加载作者提供的pretrain model,在RAF-DB的测试集上测试,acc=0.2216,这么低,不知道为什么,我哪里搞错了吗?请教一下

LiZhiHao97 commented 2 years ago

@bigcash 你说的是对的,确实还有其他的增强,我之前看的时候看漏了。 按作者在readme所说,将margin_1=0.07在64的batch_size下能够达到margin=0.15,batch_size=1024类似的效果,不清楚你有没有修改batch_size的值。 作者提供的预训练模型是在MS-celeb预训练的,并不是SCN跑出来的结果,你需要加载后在SCN上进行微调。

RockPine520 commented 2 years ago

事实上,我在使用了数据增强后,在res18的baseline上,达到了89.3的惊人效果。数据增强与预训练,貌似对FER的增幅很大。

我在做实验的时候也发现了这个现象。但是很多benchmark似乎都没有达到这个效果,不知道是什么原因