search

harlanhong / ICCV2023-MCNET

The official code of our ICCV2023 work: Implicit Identity Representation Conditioned Memory Compensation Network for Talking Head video Generation
234 stars 20 forks source link

动漫数据训练 #16

Closed Li-ChengYan closed 5 months ago

Li-ChengYan commented 5 months ago

作者您好，我尝试了复现MCNet在人脸上的效果，结果很好。但是当我用几乎相同体量的动漫数据集和相同的参数想训练一个动漫人脸的模型，但是结果并不想人脸那么好。主要就是面部表情没有一些细微的变化（张嘴或闭眼）经常不准确，而且相比真实人脸的生成结果动漫的特别模糊。我想请问一下这有可能是什么原因导致的。

https://github.com/harlanhong/ICCV2023-MCNET/assets/36294988/5bfa8266-9726-444b-bfcc-8cb39b35d6ff

https://github.com/harlanhong/ICCV2023-MCNET/assets/36294988/636274e9-2b86-46da-8e85-688f89150e8f

harlanhong commented 5 months ago

真实人脸是有一定的pattern的，但是动漫人脸方差比较大，比如色调，脸形，五官等，网络比较难学。

Li-ChengYan commented 5 months ago

好的，感谢您的回复