Yujun-Shi / DragDiffusion

[CVPR2024, Highlight] Official code for DragDiffusion
https://yujun-shi.github.io/projects/dragdiffusion.html
Apache License 2.0
1.17k stars 88 forks source link

有一个疑问 #42

Closed zbtrs closed 1 year ago

zbtrs commented 1 year ago

请问为什么mask选中了手部,眼睛会崩掉呢? image

Yujun-Shi commented 1 year ago

眼睛这一块可以参考这里 眼睛主要应该是vae的问题,可以试一下在base model config里面换一个vae

image
zbtrs commented 1 year ago

感谢解答!有些时候发现效果有点奇怪,请问是底模的问题吗?(一直用的默认的), image

Yujun-Shi commented 1 year ago

对,一般来讲,这种全身照,脸部比较小的,stable diffusion都处理的不是很好。可能是因为脸部细节比较多,然后在整张图里占的面积又比较小,所以难处理。可能专门针对这个补充训练数据再训练一下stable diffusion可以缓解这个问题。