zhengchen1999 / HI-Diff

PyTorch code for our NeurIPS 2023 paper "Hierarchical Integration Diffusion Model for Realistic Image Deblurring"
Apache License 2.0
159 stars 14 forks source link

预训练模型 #10

Open txy00001 opened 7 months ago

txy00001 commented 7 months ago

你好,1.想问一下https://drive.google.com/drive/folders/1iBdf_-LVZuz_PAbFtuxSKd_11RL1YKxM?usp=drive_link 预训练模型的链接是干嘛用的?我看训练和测试的yml里都没用到这个预训练链接里的pth;2想问一下有没有和GShift-Net,NAF-Net对比过效果和runtime呢?我看论文里没有相关指标,

zhengchen1999 commented 7 months ago
  1. 不好意思,链接提供错了,目前已经更新。正确链接 :https://drive.google.com/drive/folders/1X3oos6dmtDDo9IqC6SK5RiujMYE6Y22q?usp=drive_link
  2. 并没有在一致条件下比过。但直接对比GoPro上测试性能,我们的模型低于NAF-Net。但是测试方式(test by patches)和模型大小(28.5M vs. 67.9M)不同,直接对比不是很公平。
txy00001 commented 7 months ago
  1. 不好意思,链接提供错了,目前已经更新。正确链接 :https://drive.google.com/drive/folders/1X3oos6dmtDDo9IqC6SK5RiujMYE6Y22q?usp=drive_link
  2. 并没有在一致条件下比过。但直接对比GoPro上测试性能,我们的模型低于NAF-Net。但是测试方式(test by patches)和模型大小(28.5M vs. 67.9M)不同,直接对比不是很公平。

了解了,其实我倒是不是特别关心具体的指标精度,我更想知道推理一张图的耗时,同时在我做测试时,在REDS数据集上出来的模型去模糊效果远远好于在GoPro上面训练出来的效果,用于通用模糊图片/视频场景来看,不知道作者有没有对比过,或出现过这样的情况

这是基于reds 74_reads 这是基于GOP

74_gopro

txy00001 commented 7 months ago
  1. 不好意思,链接提供错了,目前已经更新。正确链接 :https://drive.google.com/drive/folders/1X3oos6dmtDDo9IqC6SK5RiujMYE6Y22q?usp=drive_link
  2. 并没有在一致条件下比过。但直接对比GoPro上测试性能,我们的模型低于NAF-Net。但是测试方式(test by patches)和模型大小(28.5M vs. 67.9M)不同,直接对比不是很公平。

我自己做了对比,确实作者的模型在细节上比nafnet要更好点,对比论文里的实验结果 nafnet image image

zhengchen1999 commented 7 months ago

我们选择GoPro是因为大部分去模糊模型都是在该数据集上实验的。这样做便于直接对比模型性能。 并且REDS(2019),而GoPro(2017),REDS更新,所以数据集质量应该会更好,训练出来的模型性能更好,这是正常的。

alalnjcno commented 6 months ago

你好 Gopro数据集的链接是不是失效了呀 点不开

zhengchen1999 commented 6 months ago

是否可以提供链接的具体位置,我试一下。

alalnjcno commented 6 months ago

https://[drive.google.com](https://drive.google.com/file/d/1KYmgaQj0LWSCL6ygtXcuBZ6DfJgO09RQ/view?usp=drive_link)/file/d/1KYmgaQj0LWSCL6ygtXcuBZ6DfJgO09RQ/view?usp=drive_link 这是数据集GoPro的 Model哪里的两个链接好像也打不开 您看下

zhengchen1999 commented 6 months ago

你是指这里给出的GoPro的链接吗?(这个我能正常打开)

是否可以截图给我看看具体位置,依据无法打开显示的什么?

Baekstar commented 6 months ago

你好,用自己的数据集进行test时为什么会报这样的错呢? AssertionError: 01_GT.png is not in lq_paths. 01_GT.png是我用的数据集图片的名称。

zhengchen1999 commented 6 months ago

使用自己数据集测试,需要将yml中的 dataroot_gtdataroot_lq,均设置为对应路径。 如果只有lq,没有gt,则两个路径都设为lq的路径。

zhengchen1999 commented 6 months ago

另外需要注意lq和gt图片名称是否一致,是否有额外的后缀。名称不同则会报错。

alalnjcno commented 6 months ago

请问从预训练模型开始训练的话 还需要有啥改动吗

zhengchen1999 commented 5 months ago

你好,可以。 使用diffusion的位置为:https://github.com/zhengchen1999/HI-Diff/blob/main/hi_diff/models/HI_Diff_S2_model.py#L368 但是我认为没有必要使用DDIM,因为DDIM主要是加速采样。但是本方法中,采样步数很少(8),因此不需要加速。

alalnjcno commented 5 months ago

您好 您当时用到的 net_le_300000.pth 可以发一下链接吗 从想尝试从第二步进行训练试试

zhengchen1999 commented 5 months ago

https://drive.google.com/file/d/1g4aKgt_eMqGcIKqj-NiFLR80tY510KZr/view PS: net_g.pth=net_g_300000.pth和net_le.pth=net_le_300000.pth