TMElyralab / MuseTalk

MuseTalk: Real-Time High Quality Lip Synchorization with Latent Space Inpainting
Other
1.86k stars 224 forks source link

有没有办法实时生成骨骼同步unity中的人物模型呢? #53

Closed try2020-code closed 1 month ago

try2020-code commented 2 months ago

我看了文档都只是说视频生成视频。 而我希望的是通过音频或文本 直接生成口型动画加到unity中让3d人物同步

cacard commented 1 month ago

理论上可以,但生成视频渲染和3D是两条技术路径,基本上来说,前者就是用来取代后者的,等要求的实时算力足够低的话,后者就必要性就不是很大了。