实验结果复现

[Lizi271]

用本文的代码和数据集（ITS)跑DehazeFormer-S,得到PSNR=36.54,SSIM=0.992;本论文中对应的PSNR=36.82,SSIM=0.992。请问这是什么原因呢

[IDKiro]

实验设置一样么，包括batch size、学习率等？ 包的版本以及安装的方式一样么，特别是opencv？

DehazeFormer-T和DehazeFormer-B的结果也不同么？

[Lizi271]

T和B还没跑，我的batchsize是16，其他不变

[Lizi271]

我今天打算跑一下DehazeFormer-T,结果出来，我回复您

[Lizi271]

我跑了dehazeformer-t,数据集(ITS),按照您原论文中batchsize=32，lr=4e-4,得到的结果是PSNR=34.89，SSIM=0.9888。

---Original--- From: @.> Date: Thu, Jun 16, 2022 18:10 PM To: @.>; Cc: @.**@.>; Subject: Re: [IDKiro/DehazeFormer] My results do not agree with the results inthe paper (Issue #12)

我先把issue关了，之后如果有问题可以发邮件问我，邮件我基本每天都看的。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[IDKiro]

不太清楚到底是什么原因导致，有可能：

1. 环境不一致，比如包不一致，之前我碰到过conda和pip都安装了多个opencv的情况，结果调用比较混乱
2. 训练的随机性导致，但是你两个实验都是低0.25dB左右，感觉可能性不大
3. 开源代码和实验代码不一致导致，但是DehazeFormer-T在indoor上的实验的35.15是最后做消融的时候跑的，那时候代码应该和开源的没大差别（主要是删了一些无用代码然后整理了下），这部分实验都保存了log，这里贴上DehazeFormer-T的log dehazeformer-t.zip，你对照一下是什么时候产生差异的

[IDKiro]

T和D还没跑，我的batchsize是16，其他不变

不好意思，我刚才看了一下，好像你之前S的实验设置也是对齐的？ 我把它和现在在跑的实验的实验设置看串了。 我整理下前面的讨论，免得看上去莫名其妙了。

[Lizi271]

之前S的实验设置是batchsize=16,lr=2e-4

---Original--- From: @.> Date: Sat, Jun 18, 2022 13:23 PM To: @.>; Cc: @.**@.>; Subject: Re: [IDKiro/DehazeFormer] My results do not agree with the results inthe paper (Issue #12)

不好意思，我刚才看了一下，好像你之前S的实验设置也是对齐的？ 我把它和现在在跑的实验的实验设置看串了。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[IDKiro]

之前S的实验设置是batchsize=16,lr=2e-4

这就是原本的实验设置，因为最近在跑一个新模型，batch size设成了64，所以搞混了以为你的batch size改小了。

这份代码的绝大部分实验是在4卡2080Ti上跑的，indoor实验上并没有观察到±0.1dB以上的结果随机性（RESIDE-6K上倒是有）。 如果你确定没有改代码，实验设置对齐，并且排除运行环境差异的可能，那具体原因我也没办法确定。最近手头有DehazeFormer的改进版以及一个新的模型要跑，暂时没计划腾出计算资源和时间帮你细致排查问题。

[Lizi271]

我能确定没有改代码，实验设置对齐，但是我不能排除运行环境差异的可能，我是在1卡3080Ti上跑的，我不知道是否是这个原因造成的

---Original--- From: @.> Date: Sat, Jun 18, 2022 14:08 PM To: @.>; Cc: @.**@.>; Subject: Re: [IDKiro/DehazeFormer] My results do not agree with the results in the paper (Issue #12)

之前S的实验设置是batchsize=16,lr=2e-4

这就是原本的实验设置，因为最近在跑一个新模型，batch size设成了64，所以搞混了以为你的batch size改小了。

这份代码的绝大部分实验是在4卡2080Ti上跑的，indoor实验上并没有观察到±0.1dB以上的结果随机性（RESIDE-6K上倒是有）。 如果你确定没有改代码，实验设置对齐，并且排除运行环境差异的可能，那具体原因我也没办法确定。最近手头有DehazeFormer的改进版以及一个新的模型要跑，暂时没计划腾出计算资源和时间帮你细致排查问题。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[IDKiro]

不排除这个影响，虽然LayerNorm（以及本文的改版）没有BatchNorm那样对单卡batch size那么敏感。如果确保实验设置和运行环境（pytorch、cuda以及opencv等的版本、安装方式）一致，那么可能原因是设备差异导致的奇怪问题了，这确实不好排除。

为了方便消融实验（防止改了模块之后的网络爆显存），本文的小模型并没有跑满总共44GB的显存，但是也应该要24GB以上才能对齐实验设置才对，即使是12GB显存的新款3080Ti应该也是不够的。我对此还是挺疑惑的，难道是PyTorch（或者其他包）在混合精度训练时会根据显存大小自动调整训练精度？

如果要写论文，FFANet之后大部分在SOTS indoor和outdoor上的结果一般都是摘抄先前工作，所以确实会对你产生不利。当然你也可以重新跑所有baseline，然后在论文的实验设置部分注明。如果你先按照现有实验条件继续实验，只要实验设置对齐，总能在试一些idea后找到改进点的，到时候可以尝试租台4卡服务器跑跑看。

[Lizi271]

好的，我用的是3090Ti跑的，谢谢您耐心的解答!

---Original--- From: @.> Date: Sat, Jun 18, 2022 14:49 PM To: @.>; Cc: @.**@.>; Subject: Re: [IDKiro/DehazeFormer] My results do not agree with the results in the paper (Issue #12)

不排除这个影响，虽然LayerNorm（以及本文的改版）没有BatchNorm那样对batch size那么敏感。如果确保实验设置和运行环境（pytorch、cuda以及opencv等的版本、安装方式）一致，那么可能原因是设备差异导致的奇怪问题了，这确实不好排除。

为了方便消融实验（防止改了模块之后的网络爆显存），本文的小模型并没有跑满总共44GB的显存，但是也应该要24GB以上才能对齐实验设置才对，即使是12GB显存的新款3080Ti应该也是不够的。我对此还是挺疑惑的，难道是PyTorch（或者其他包）在混合精度训练时会根据显存大小自动调整训练精度？

如果要写论文，FFANet之后大部分在SOTS indoor和outdoor上的结果一般都是摘抄先前工作，所以确实会对你产生不利。当然你也可以重新跑所有baseline，然后在论文的实验设置部分注明。如果你先按照现有实验条件继续实验，只要实验设置对齐，总能在试一些idea后找到改进点的，到时候可以尝试租台4卡服务器跑跑看。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[IDKiro]

很遗憾，似乎并没有帮到忙。 搞定手头的事情后我会去解决下这问题，毕竟训练结果如果受到运行环境的影响也不是什么好事情。

[Lizi271]

没关系的，您先忙完手里的事，到时候如果您解决了这个问题，我们再交流一下，谢谢!

---Original--- From: @.> Date: Sat, Jun 18, 2022 16:12 PM To: @.>; Cc: @.**@.>; Subject: Re: [IDKiro/DehazeFormer] My results do not agree with the results in the paper (Issue #12)

很遗憾，似乎并没有帮到忙。 搞定手头的事情后我会去解决下这问题，毕竟训练结果如果受到运行环境的影响也不是什么好事情。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[binwang777]

作者应该训练的时候保存一下随机种子吧，如果有了随机种子就不会出现当下问题了。刷分有波动蛮正常的。

[IDKiro]

作者应该训练的时候保存一下随机种子吧，如果有了随机种子就不会出现当下问题了。刷分有波动蛮正常的。

确实是我的问题，平时从来不固定随机种子，因为觉得固定随机种子比较trick。 我上次刷点还是图像去噪，图像去噪提点困难但是结果是比较稳定的，性能波动一般不超过0.03dB，在做去雾时思维惯性了。

[Lizi271]

好的谢谢

---Original--- From: @.> Date: Thu, Jun 16, 2022 18:10 PM To: @.>; Cc: @.**@.>; Subject: Re: [IDKiro/DehazeFormer] My results do not agree with the results inthe paper (Issue #12)

我先把issue关了，之后如果有问题可以发邮件问我，邮件我基本每天都看的。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[Lizi271]

不好意思哈，我刚刚写错了，是1卡3090Ti

---Original--- From: @.> Date: Sat, Jun 18, 2022 14:08 PM To: @.>; Cc: @.**@.>; Subject: Re: [IDKiro/DehazeFormer] My results do not agree with the results in the paper (Issue #12)

之前S的实验设置是batchsize=16,lr=2e-4

这就是原本的实验设置，因为最近在跑一个新模型，batch size设成了64，所以搞混了以为你的batch size改小了。

这份代码的绝大部分实验是在4卡2080Ti上跑的，indoor实验上并没有观察到±0.1dB以上的结果随机性（RESIDE-6K上倒是有）。 如果你确定没有改代码，实验设置对齐，并且排除运行环境差异的可能，那具体原因我也没办法确定。最近手头有DehazeFormer的改进版以及一个新的模型要跑，暂时没计划腾出计算资源和时间帮你细致排查问题。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[Zyyy0828]

这个可以与yolo算法结合使用吗？

[Lizi271]

没试过

李子 @.***

---原始邮件--- 发件人: @.> 发送时间: 2024年5月7日(周二) 下午2:57 收件人: @.>; 抄送: @.**@.>; 主题: Re: [IDKiro/DehazeFormer] 实验结果复现 (Issue #12)

这个可以与yolo算法结合使用吗？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>