yumingj / Talk-to-Edit

Code for Talk-to-Edit (ICCV2021). Paper: Talk-to-Edit: Fine-Grained Facial Editing via Dialog.
https://www.mmlab-ntu.com/project/talkedit/
330 stars 47 forks source link

editing_wo_dialog #9

Closed zhangshen12356 closed 2 years ago

zhangshen12356 commented 2 years ago

请问一下,我对一幅1024的图片(整幅图片基本只有人脸,没有其他的背景)进行编辑的话,为什么之后smiling这个属性能进行编辑,而对其他属性进行编辑会报错“ Sorry, we are unable to edit this attribute. Perhaps we can try something else”,请问一下这个是检测器的问题还是哪部分的问题?另外,如果我将这幅图片resize为128的话,倒是基本每个属性都能进行编辑。

zhangshen12356 commented 2 years ago

另外还有一个问题就是,为什么训练的时候,其中进行编辑生成的图片都不是正常图片

yumingj commented 2 years ago

关于第一个问题,在1024版本上,real image editing会出现个别属性编辑不动的情况,也就是出现“Sorry, we are unable to edit this attribute. Perhaps we can try something else”的提示。这个原因可能是:1)real image经过inversion之后,得到的code和原始的stylegan的latent space不是很吻合,因此对于我们的field function来说,算是一个out of distribution的输入,所以无法对这张图片进行一些编辑。2)有些属性本身在latent space上分布就不是太好,所以会编辑不动。在128版本上确实可编辑性会强一些。 我们的paper主要是focus在synthesized image上做编辑,对real image editing我们只是展示了可能性。想要提高在real image上的robustness,可以尝试用一些其他inversion的方式,使得得到的latent code同时具有保真性和可编辑性。或者在训练的field的时候 就把真实图片考虑在内。

训练的时候编辑生成的图片不是正常的图片,可能是网络训崩了。你需要先检查一下输入是否正确,即编辑前的图片是否正常。正常来说,编辑前的图片应该是能够显示出来的。