search

SunnyHaze / IML-ViT

Official repository of paper “IML-ViT: Benchmarking Image manipulation localization by Vision Transformer”
MIT License
184 stars 23 forks source link

关于预训练模型 #21

Closed boreas-l closed 1 month ago

boreas-l commented 2 months ago

请问共享的三个预训练模型(iml-vit_checkpoint.pth、iml-vit_trufor_20231014.pth、iml-vit_casiav2_20231014.pth)之间有何区别？第一个是原始版本，最后一个是casiav2数据集训练的版本吗？trufor是指用对应的数据集训练的版本吗？打扰了，多谢！

SunnyHaze commented 2 months ago

你好，感谢对我们工作的关注！

第一个是最早release的在CASIAv2上训练的模型，相比于最后的iml-vit_casiav2_20231014.pth（如命名所示，它也是在CASIAv2上训练的）性能会差一点。

然后这个iml-vit_trufor_20231014.pth是在CAT-Net（也是TruFor的）多个数据集，每个epoch在各个数据集上sample1800多张的协议上训练的结果。

如果还有其他问题，欢迎讨论！

boreas-l commented 2 months ago

大佬，目前我这边在试验做证件类的篡改检测，数据大概有三千多张，篡改是自己造的【只有copy-paste类别】，目前简单用过原始的mae_pretrain_vit_base.pth，也用过测试效果较好的iml-vit_checkpoint_trufor_20231104.pth进行训练微调，但效果并不太好，涨点涨不上去，大概test_average_f1在0.82浮动。请问一下大佬有什么好的建议吗？衷心感谢[抱拳]

SunnyHaze commented 2 months ago

你好，建议还是从数据集角度处理，印象中阿里举办的一些篡改检测比赛有较多的证照图片，可以尝试找一找，扩充数据量。不一定要从自然图像篡改训练后的数据集取微调。

不过诚然也不一定很管用，指标上的东西都是实验说话，实验好才是真的好。

boreas-l commented 1 month ago

你好，建议还是从数据集角度处理，印象中阿里举办的一些篡改检测比赛有较多的证照图片，可以尝试找一找，扩充数据量。不一定要从自然图像篡改训练后的数据集取微调。

不过诚然也不一定很管用，指标上的东西都是实验说话，实验好才是真的好。

好的，多谢大佬的建议！