MRzzm
commented
3 years ago 你好，请教不敢当哈→_→ 1.“将3dmm/或人脸关键点，直接渲染到虚拟3D卡通形象上”是指人脸到卡通的表情迁移吗？这个做过，在卡通模型上手K和3dmm一样的blendshape通道，然后3DMM拟合人脸得到blendshape系数放到卡通形象上，我简单做了一下发现效果不好，需要加正则项调整在人脸landmark上的过拟合程度，然后就没做了。
2.会，使用文本我感觉效果更好，缺点是不能跨语言，之前我们就是用文本做的，可以参考“Write-a-speaker: Text-based Emotional and Rhythmic Talking-head Generation”， 如果驱动口型，可以参考音素驱动的这一篇“a deep learning approach for generalized speech animation”
birdflies
智勐，你好， 请教下，1.您在实际使用的时候，有没有把3dmm/或人脸关键点，直接渲染到虚拟3d卡通形象上？ 2.您觉得加入文本进行训练，会不会明显提高算法的指标？