能否增加个在线驱动的例子和代码，那样直接秒杀其他数字人了

TMElyralab / MuseTalk

MuseTalk: Real-Time High Quality Lip Synchorization with Latent Space Inpainting

Other

1.85k stars 223 forks source link

Closed anstonjie closed 2 months ago

anstonjie commented 3 months ago

能否增加个在线驱动的例子和代码，那样直接秒杀其他数字人了

ApolloRay commented 3 months ago

他这个实时应该还是做不到在线驱动，还是有delay。

itechmusic commented 3 months ago

当前在固定了视频素材后，对视频提前进行预处理（人脸检测、vae-encode等）。线上只进行推理与vae-decode，在V100上是可以达到30fps的推流实时的。

我们后续会提供这部分的代码，预计在4月内。

anstonjie commented 2 months ago

太棒了，支持你们

在 2024-04-08 13:33:30，"itechmusic" @.***> 写道：

当前在固定了视频素材后，对视频提前进行预处理（人脸检测、vae-encode等）。线上只进行推理与vae-decode，在V100上是可以达到30fps的推流实时的。

我们后续会提供这部分的代码，预计在4月内。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

Xmenlin commented 2 months ago

当前在固定了视频素材后，对视频提前进行预处理（人脸检测、vae-encode等）。线上只进行推理与vae-decode，在V100上是可以达到30fps的推流实时的。

我们后续会提供这部分的代码，预计在4月内。

非常期待！

itechmusic commented 2 months ago