ChengchengFU commented 6 months ago

作者您好，我在复现的过程中训练Haze4K数据集和OTS数据集得到的模型验证时效果与您提供的模型效果相差过大，请问可否提供一下Haze4K数据集和OTS数据集训练时的具体参数设置呢，感谢回复！

cecret3350 commented 6 months ago

您好，可以提供一下您的训练结果吗

ChengchengFU commented 6 months ago

您好，可以提供一下您的训练结果吗

您好，我在训练HAZE4K的参数设置如下图所示，在训练集可以看到指标都还不错，可验证时模型效果不好，没有检查出具体原因，另外保存的模型大小也与您提供的训练模型相差很大（OTS的结果与之类似），如果方便的话可以邮件沟通一下实验细节吗？我的邮箱是1603995227@qq.com，超级感谢！

cecret3350 commented 6 months ago

您好，我看到您总共跑了150000次iteration，想要复现论文的结果需要训练1500000次iteration

另外保存的模型大小较大是因为这时的权重还没有经过重参数化，而我们大小为14MB的权重是经过重参数化的

关于验证时结果很低的问题，由于训练时的验证集和完成训练后的测试集是同一个（在HAZE4K中都是1000张图片），因此测试的结果应该和训练时显示的结果是一致的。可以检查一下您的代码里是否正确加载了模型权重

ChengchengFU commented 6 months ago

您好，我看到您总共跑了150000次iteration，想要复现论文的结果需要训练1500000次iteration

另外保存的模型大小较大是因为这时的权重还没有经过重参数化，而我们大小为14MB的权重是经过重参数化的

关于验证时结果很低的问题，由于训练时的验证集和完成训练后的测试集是同一个（在HAZE4K中都是1000张图片），因此测试的结果应该和训练时显示的结果是一致的。可以检查一下您的代码里是否正确加载了模型权重

我在未重新参数化的eval过程中直接将eval/py中network.load_state_dict(ckpt)改成了network.load_state_dict(ckpt, strict=False)，不知是否为这个原因导致模型权重加载出现问题，想排查一下，请问您这边可否提供重参数化的代码呢

yanjius123 commented 6 months ago

您好，我刚入门，可以请教一下您，怎么训练吗

cecret3350 commented 6 months ago

您好，我看到您总共跑了150000次iteration，想要复现论文的结果需要训练1500000次iteration 另外保存的模型大小较大是因为这时的权重还没有经过重参数化，而我们大小为14MB的权重是经过重参数化的关于验证时结果很低的问题，由于训练时的验证集和完成训练后的测试集是同一个（在HAZE4K中都是1000张图片），因此测试的结果应该和训练时显示的结果是一致的。可以检查一下您的代码里是否正确加载了模型权重

我在未重新参数化的eval过程中直接将eval/py中network.load_state_dict(ckpt)改成了network.load_state_dict(ckpt, strict=False)，不知是否为这个原因导致模型权重加载出现问题，想排查一下，请问您这边可否提供重参数化的代码呢

你好，抱歉这么晚回复。在eval时应该加载对应的模型（即训练时使用的模型定义）。另外，重参数化的代码也已经更新，请查看https://github.com/cecret3350/DEA-Net/blob/a327b19666877467a1f21514962ce126982defc3/code/reparam.py

ChengchengFU commented 6 months ago

您好，我看到您总共跑了150000次iteration，想要复现论文的结果需要训练1500000次iteration 另外保存的模型大小较大是因为这时的权重还没有经过重参数化，而我们大小为14MB的权重是经过重参数化的关于验证时结果很低的问题，由于训练时的验证集和完成训练后的测试集是同一个（在HAZE4K中都是1000张图片），因此测试的结果应该和训练时显示的结果是一致的。可以检查一下您的代码里是否正确加载了模型权重

我在未重新参数化的eval过程中直接将eval/py中network.load_state_dict(ckpt)改成了network.load_state_dict(ckpt, strict=False)，不知是否为这个原因导致模型权重加载出现问题，想排查一下，请问您这边可否提供重参数化的代码呢

你好，抱歉这么晚回复。在eval时应该加载对应的模型（即训练时使用的模型定义）。另外，重参数化的代码也已经更新，请查看https://github.com/cecret3350/DEA-Net/blob/a327b19666877467a1f21514962ce126982defc3/code/reparam.py

感谢您的回复！已经确定了，就是模型未经重参数化的原因！将模型重新参数化后将eval.py文件中的network.load_state_dict(ckpt)改为

Remove 'module.' prefix

trimmed_dict = {k.replace('module.', ''): v for k, v in ckpt.items()}
network.load_state_dict(trimmed_dict, strict=False)

即可得到正确的PSNR和SSIM值，有同样困惑的小伙伴可以作为参考。再次感谢！

cecret3350 / DEA-Net

模型训练参数 #19

Remove 'module.' prefix