Lip Sync

[TDIT-haha]

MediaPipe4U 版本

20240524

UnrealEngine 版本

5.1.x

平台

Windows

UnrealEngine 类型

Launcher

问题类型

其他

错误详细描述

很感谢你的工作，我学到了很多，但我在操作做遇到了问题，跟着tts视频中关于唇形驱动的内容进行操作操作，但是在我弄好lipPose后，我无法调节数值使脸部产生变化，这是为什么？我还有什么步骤是遗漏的么？而且我发现对应的曲线命名我也没有。我的这些问题该如何解决呢，有什么建议么？

[endink]

不再建议从 controlRig bake 曲线, 你可以对照唇形照片通过 metahuman 面部控制器手动制作曲线

[TDIT-haha]

意思是说Control Rig Pose Baker 这个工具用不了了是么？“对照唇形照片通过 metahuman 面部控制器手动制作曲线”这个是怎么弄？有相关的视频或是文档推荐么？

不再建议从 controlRig bake 曲线, 你可以对照唇形照片通过 metahuman 面部控制器手动制作曲线

[endink]

Bake 工具只是为了偷懒，因为我不会美术，你应该学习制作 pose asset 资产

[TDIT-haha]

后来我自己制作了 pose asset 资产，但是发现自己生成的pose asset资产能使口型发生变化，但是game运行后嘴巴不会懂，我卡在这个位置了，我看issue中也有这个问题，但是没有好的解决方案，不知道你有什么想法。另一个问题为什么使用Bake 工具生成的poseasset资产调整曲线无法使口型发生变化？

[TDIT-haha]

能提供联系方式么？

[TDIT-haha]

我想请教个问题，如何可以判段mediapipe lip Synce没有问题，或是有什么办法可以读取mediapipe lip Synce的输出内容，目前用Modify curves测试lippose资产是可以使用的。

[endink]

game 运行的意思是打包吗？这个模块快免费 license 不支持打包的

[endink]

MediaPipe LipSync 动画蓝图节点相当于 modify curve

[TDIT-haha]

MediaPipe LipSync 动画蓝图节点相当于 modify curve

我能理解相当于modify curve，所以我创建了modfiy curve并控制SS曲线等于1，并编译发现能驱动人脸，由于我没MediaPipe LipSync的源码，以及我无法获得MediaPipe LipSync的输出，所以我有点怀疑MediaPipe LipSync是不是又问题，在UE5.4.2的这个版本上。或者有什么办法可以获得MediaPipe LipSync的输出么？

[endink]

通过 UE editor 中的 window -> MediaPipe4U ->Speech 提供的编辑器工具测试