SunnyHaze / IML-ViT

Official repository of paper “IML-ViT: Benchmarking Image manipulation localization by Vision Transformer”
MIT License
184 stars 23 forks source link

关于数据集5个问题 #10

Closed Eloise-z closed 6 months ago

Eloise-z commented 6 months ago

大佬您好!我有5个数据集相关的问题请教一下

1.CASIA1.0 对于篡改图片CASIA1.0/Modified Tp/Tp/Sp/Sp_D_NRN_A_cha0011_sec0011_0542.jpg,作者提到它与Au/Au_cha_0011.jpg一样,但我没找到对应的gt_mask,而且它的像素值和Au那张不完全相同

2.CASIA2.0 很感谢你们修复了那17张篡改图片的工作,但也有研究发现原始图片有重复的,不知道你们怎么处理的

3.Columbia 只提供了边缘mask,没有gt_mask,我通过在边缘mask上红色通道像素值>127设置为0,绿色>127设置为255得到的gt_mask,但是我只是一个小白,不知道真正实验中怎么做的

4.COVERAGE 有9张图片维度不对应,它一共才100张,直接跳过存在很大问题,我看到也有issue提到,能否也给我一份修改后的,我的邮箱是eloise.xyz@qq.com

5.IMD2020 你们论文中没有使用,但你们可能也知道,IMD2020/z14/00030_fake.jpg与对应gt_mask维度不对应

上面有“问题”的图片我都是跳过处理,看过的论文中并没有提到这些问题,所以我不知道真正的论文是怎么处理的,我只是一个小白,请大佬指点迷津

SunnyHaze commented 6 months ago

您好!感谢您对我们工作的关注!

因为这些问题都是数据集中非常特殊的问题,我提供我实际的处理方式以供参考:

  1. 这张图我单独拿出来了,因为没有mask,我在计算metrics时没有将其包括在内
  2. 这个现象确实存在,但是因为要和公开的各种指标直接比较,且目前大多数的paper都没有“去重”,所以我们还是直接在公开的CASIAv2数据集上计算的,以保证和过往paper的合理公平比较(因为大多数工作都没有release训练代码,所以还是只能和paper中的指标比较)。
  3. 我们大致也是这样处理的,但我记不清颜色了,最终就是转化成黑底白块的mask即可。
  4. 可以的,一会儿发你一份,后面我们会release一个网盘或者仓库。
  5. IMD2020这张图我也手动修改了一下,大致对齐了mask,直接放在这里: 00030_fake_mask

希望能帮到你,也希望以后篡改检测领域像您这样严谨的同行能越来越多,让领域越来越好!

Eloise-z commented 6 months ago

感谢大佬的帮助!

SunnyHaze commented 5 months ago

目前我们将所有修改过的数据集上传到了这个仓库,方便用于复现IML-ViT与完成后续工作,欢迎star或分享给其他Researcher,感谢! https://github.com/SunnyHaze/IML-Dataset-Corrections

Eloise-z commented 5 months ago

目前我们将所有修改过的数据集上传到了这个仓库,方便用于复现IML-ViT与完成后续工作,欢迎star或分享给其他Researcher,感谢! https://github.com/SunnyHaze/IML-Dataset-Corrections 感谢大佬的工作和开源精神,已star👍