Open lijun2005 opened 2 months ago
因为Diffusion Model(DM)的生成能力更强。对比使用DM和Transformer,DM性能更好:
嗯嗯,这张图原来对比的是隐空间向量那里的生成方式吗?
---原始邮件--- 发件人: "Zheng @.> 发送时间: 2024年6月20日(周四) 晚上11:10 收件人: @.>; 抄送: @.**@.>; 主题: Re: [zhengchen1999/HI-Diff] 关于先验生成的动机 (Issue #15)
因为Diffusion Model(DM)的生成能力更强。对比使用DM和Transformer,DM性能更好: 2024-06-20.23.09.45.png (view on web)
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
对,在隐空间中,替换DM为Transformer,进行对比。
好的,谢谢学长
---原始邮件--- 发件人: "Zheng @.> 发送时间: 2024年6月20日(周四) 晚上11:19 收件人: @.>; 抄送: @.**@.>; 主题: Re: [zhengchen1999/HI-Diff] 关于先验生成的动机 (Issue #15)
对,在隐空间中,替换DM为Transformer,进行对比。
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
还想问一下具体训练方式:第二阶段的Restormer是从头训练的,还是用第一阶段的权重进行微调?两个阶段的学习率设置有啥不同吗?
微调 学习率基本一致,具体可以对比model.py和yml文件。
请问为啥要在隐空间里利用diffusion model生成编码向量Z呢?直接用对编码向量计算mse损失来重建不行吗?我的意思是gt生成z,原文是将LR图像利用diffusion生成这个Z,为啥不直接LR用一个简单的mse生成这个Z呢,