harlanhong / ICCV2023-MCNET

The official code of our ICCV2023 work: Implicit Identity Representation Conditioned Memory Compensation Network for Talking Head video Generation
245 stars 21 forks source link

是否支持不同身份之间的重演训练? #21

Open Deng555 opened 5 months ago

Deng555 commented 5 months ago

我看论文原理,是没有强绑定sourc与target必须为同一个人的,但是在论文实验说明中,有明确说训练阶段source与target为同一id,以至于loss那块存在感知损失,且我看源码数据处理模块FramesDataset中,source与target也是同id.

因为我现在有个任务,是需要实现比较精细的不同id之间的重演,所以我想问一下,是否可以在该工程基础上训不同id的重演?希望作者能回复一下,不甚感激!

harlanhong commented 5 months ago

在训练过程中,因为需要ground truth,所以只能在相同id下训练,如果采用不同id,那么在训练过程中,就没有对应的ground truth。

Deng555 commented 5 months ago

是的。我看论文有个Cross-identity reenactment小节,我以为你们针对Cross-identity 重训过。 也就是说,训练阶段,还是必须同ID训,推理和实际应用阶段,可以迁移到Cross-identity使用,是吗?

harlanhong commented 5 months ago

是的,但其实这样的效果在面对cross-identity的时候还是有局限性,可以参考一下x-portrait的方式,数据量上去了,问题不大,有啥问题可以一起讨论交流。

Deng555 commented 5 months ago

是的。好的好的,我马上去看下x-portrait原理,非常感谢指导!