csslc / CCSR

Official codes of CCSR: Improving the Stability of Diffusion Models for Content Consistent Super-Resolution
https://csslc.github.io/project-CCSR/
390 stars 30 forks source link

Xt_min -> X0 #8

Open wangjg33 opened 5 months ago

wangjg33 commented 5 months ago

非常出色的工作!

请问论文中 Xt_min -> X0 这一步的过程中,论文中说使用的是 truncated output,请问这个过程具体是什么样的?我看在论文中好像没有详细介绍,对着一部分非常好奇。

csslc commented 5 months ago

你好,非常感谢你对我们工作的认可。 这个过程是先从 Xt_min 估计 t_min 时刻的噪声,再通过估计的噪声和 Xt_min 来估计 t_min 时刻的 X0。 最后, 直接输出t_min 时刻的 X0作为 diffusion 的最终结果,将该结果送入 VAE decoder 做进一步的增强。

wangjg33 commented 5 months ago

大概明白了。谢谢你! P.S 我觉得文章的另外一个很大的卖点就是加速呀,毕竟已经在15步完成,非常的吸引人。

另外还有一个小问题:在Table2中,StableSR的Params是1409.11M,但是在StableSR的论文Table4中,为149.91M呀~这个是怎么回事?

csslc commented 5 months ago

你好!我们后面的消融实验发现:更少的步数,以及不同的 t_max 和 t_min 的组合会带来不同的超分效果。这个部分还是有一些可以挖掘的地方,欢迎一起交流讨论。 我们在 Table2 给出的是所有模型的参数量。StableSR 的 Table4 是可训练模型的参数量。因为在训练的时候有相当一部分的模型参数都是冻住的,所以这两个参数量相差比较大。