harlanhong / CVPR2022-DaGAN

Official code for CVPR2022 paper: Depth-Aware Generative Adversarial Network for Talking Head Video Generation
https://harlanhong.github.io/publications/dagan.html
Other
957 stars 125 forks source link

如何在非人脸(有人脸的特征)数据集上训练出您样本中优秀的效果? #59

Open seoseven opened 1 year ago

seoseven commented 1 year ago

您好,DaGAN展示出的效果非常好,但当我运行自己的数据集时,效果却很差,

seoseven commented 1 year ago

就像这样的图像

harlanhong commented 1 year ago

我看不到你的图像啊~

seoseven commented 1 year ago

抱歉,打扰您了,我以为我成功上传了图片 image seed6601 像这样,类似中国戏曲中的脸谱图像,例如我想将明星唱歌驱动视频里的动作迁移至此类图像上,结果是图像中眼睛嘴巴产生的形变很小,几乎没有。我是否需要重新训练一个基于此类图像的关键点侦测模型,还是说这种图像不可能实现像cartoon sample中如此好的效果,期待您的回复!谢谢

harlanhong commented 1 year ago

这个是数据之间的domain gap, 我用的那些cartoon sample还是具备了人脸的形态,跟训练集之间的gap还是较小的。你这种数据跟训练集的gap太大了

seoseven commented 1 year ago

所以说,我只能通过去训练大量上述脸谱图像为主体内容的视频序列集合,这样得到的模型才有可能成功吗?还是说这样做其实也不行,因为目前的image animation方向还是针对人脸为主?

harlanhong commented 1 year ago

是的,如果需要效果好一些,就需要上述的数据进行训练