search

yiranran / Audio-driven-TalkingFace-HeadPose

Code for "Audio-driven Talking Face Video Generation with Learning-based Personalized Head Pose" (Arxiv 2020) and "Predicting Personalized Head Movement From Short Video and Speech Signal" (TMM 2022)
https://ieeexplore.ieee.org/document/9894719
721 stars 146 forks source link

关于嘴唇同步 #16

Open commonghost opened 4 years ago

commonghost commented 4 years ago

已经跑通，并看到不错展示的效果。谢谢！ 我跑的样例生成的视频中嘴唇的同步似乎不是很好，从论文中看，嘴唇同步的评分也不高，不知是否可以通过增加训练数据或者其他方法进行优化？

Adorablepet commented 4 years ago

@commonghost 我目前也遇到这样的疑惑，其实我觉得预训练模型是用LRW(英文数据)，不知道用中文数据去建立这个映射会不会更好点。