search

harlanhong / ICCV2023-MCNET

The official code of our ICCV2023 work: Implicit Identity Representation Conditioned Memory Compensation Network for Talking Head video Generation
234 stars 20 forks source link

开源的模型不是论文效果展示的模型吗？ #18

Open Deng555 opened 4 months ago

Deng555 commented 4 months ago

https://github.com/harlanhong/ICCV2023-MCNET/assets/53934887/55a5ba49-da1a-4ea2-a0b3-9f725a20f188

使用开源模型推理的效果，生成的视频，背景会受驱动视频影响，跟论文展示的效果，差别很大，是需要自己重新训练吗？

harlanhong commented 4 months ago

奇怪，你这有使用relative motion transfer吗

Deng555 commented 4 months ago

啊，没有

https://github.com/harlanhong/ICCV2023-MCNET/assets/53934887/618f9165-a02f-4a52-8b1d-b1a0f0dbe03f

打开relative之后，形象生成好很多，但是姿态和表情迁移效果比之前差了些，这里是有形象特征和属性特征取舍的平衡吗？

harlanhong commented 4 months ago

是的，现在基本fomm的框架都是需要relative motion transfer的

Deng555 commented 4 months ago

OK，感谢大佬