search

zhengchen1999 / HI-Diff

PyTorch code for our NeurIPS 2023 paper "Hierarchical Integration Diffusion Model for Realistic Image Deblurring"
Apache License 2.0
168 stars 15 forks source link

关于先验生成的动机 #15

Open lijun2005 opened 4 months ago

lijun2005 commented 4 months ago

请问为啥要在隐空间里利用diffusion model生成编码向量Z呢？直接用对编码向量计算mse损失来重建不行吗？我的意思是gt生成z，原文是将LR图像利用diffusion生成这个Z，为啥不直接LR用一个简单的mse生成这个Z呢，

zhengchen1999 commented 4 months ago

因为Diffusion Model（DM）的生成能力更强。对比使用DM和Transformer，DM性能更好：

lijun2005 commented 4 months ago

嗯嗯，这张图原来对比的是隐空间向量那里的生成方式吗？

---原始邮件--- 发件人: "Zheng @.> 发送时间: 2024年6月20日(周四) 晚上11:10 收件人: @.>; 抄送: @.**@.>; 主题: Re: [zhengchen1999/HI-Diff] 关于先验生成的动机 (Issue #15)

因为Diffusion Model（DM）的生成能力更强。对比使用DM和Transformer，DM性能更好： 2024-06-20.23.09.45.png (view on web)

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

zhengchen1999 commented 4 months ago

对，在隐空间中，替换DM为Transformer，进行对比。

lijun2005 commented 4 months ago

好的，谢谢学长

---原始邮件--- 发件人: "Zheng @.> 发送时间: 2024年6月20日(周四) 晚上11:19 收件人: @.>; 抄送: @.**@.>; 主题: Re: [zhengchen1999/HI-Diff] 关于先验生成的动机 (Issue #15)

对，在隐空间中，替换DM为Transformer，进行对比。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

lijun2005 commented 4 months ago

还想问一下具体训练方式：第二阶段的Restormer是从头训练的，还是用第一阶段的权重进行微调？两个阶段的学习率设置有啥不同吗？

zhengchen1999 commented 4 months ago

微调 学习率基本一致，具体可以对比model.py和yml文件。