关于Audio Source和Pose Source

Hangz-nju-cuhk / Talking-Face_PC-AVS

Code for Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation (CVPR 2021)

Creative Commons Attribution 4.0 International

919 stars 169 forks source link

Closed old-fan-kk closed 3 years ago

old-fan-kk commented 3 years ago

您好，请问一下在训练过程中Audio Source和Pose Source是来自同一个视频吗？

Hangz-nju-cuhk commented 3 years ago

Hi, 是的，不然没有办法监督。

old-fan-kk commented 3 years ago

那这不是输入就是输出了吗

Hangz-nju-cuhk commented 3 years ago

是的就是这样，建议去看一下paper哦

old-fan-kk commented 3 years ago

感谢回复，我感觉这样是不是容易过拟合，网络什么也不用做直接把输入作为输出就行了

Hangz-nju-cuhk commented 3 years ago

这边需要担心的问题并不是过拟合，而是如何让audio信息起作用，可以看一下文章中为了解决这个问题我们的设计。

old-fan-kk commented 3 years ago

感谢感谢!!