the result of self.sample_hijack

bcmi / DCI-VTON-Virtual-Try-On

[ACM Multimedia 2023] Taming the Power of Diffusion Models for High-Quality Virtual Try-On with Appearance Flow.

https://arxiv.org/abs/2308.06101

MIT License

387 stars 56 forks source link

Closed EricShow closed 10 months ago

EricShow commented 10 months ago

sample_hijack的输出结果z经过decoder是什么样的，和GT很像吗

Limbor commented 10 months ago

是比较像的，你也可以试试自行将他输出图像来查看

EricShow commented 10 months ago

是比较像的，你也可以试试自行将他输出图像来查看

谢谢，不知道是不是我理解有问题，sample_hijack是由t到t-1推了一步吗，为什么推一步就可以输出很像GT的结果呢，不应该是t接近0结果才会像GT吗，期待您的回复

Limbor commented 10 months ago

model_output = self.apply_model(x_noisy, t, cond)
x_denoisy = self.predict_start_from_noise(x_noisy[:, :4, :, :], t=t, noise=model_output)

可以看到在sample_hijack中，我们是直接对噪声进行一步采样得到最终去噪结果，虽然质量上可能有一定缺陷但整体会和GT比较相似