zhangchenxu528 / FACIAL

FACIAL: Synthesizing Dynamic Talking Face With Implicit Attribute Learning. ICCV, 2021.
GNU Affero General Public License v3.0
376 stars 83 forks source link

fit_headpose.py 的目的是什么? #53

Open imhgy opened 2 years ago

imhgy commented 2 years ago

您好,十分感谢分享您的训练代码!我发现 fit_headpose.py 重新计算了包含欧拉角, scale, 2d translation, expression 等 71 维的参数,为什么不直接使用 Deep3DFaceReconstruction 预测的参数呢?

kunyao2015 commented 2 years ago

同样想问这个问题,难道openface 得到的结果要比Deep3DFaceReconstruction 角度更准吗 如果训练一个basemodel, 包含多条视频数据,每条视频还需要执行此步骤吗,那不是太费时了?

zhangchenxu528 commented 2 years ago

Deep3DFaceReconstruction方法需要先crop 原图像,因此得到的head pose是基于预处理之后图片的。主要会有头部translation问题。你可以使用Deep3DFaceReconstruction结果做个对比实验,就会发现其中的问题。