search

TMElyralab / MuseTalk

MuseTalk: Real-Time High Quality Lip Synchorization with Latent Space Inpainting
Other
1.85k stars 224 forks source link

实时推理中两段视频过渡的连贯性实现方案 #58

Closed ahkimkoo closed 1 month ago

ahkimkoo commented 2 months ago

实时推理的场景中，两段视频分开两次生成，如何让最终生成的两个视频连接过渡的地方比较连贯呢。 BTW., 音频长度超过参考视频时，会将参考视频从头开始放，但是过渡那里做得很好，几乎看不出来跳帧，不知道实现原理是什么。同样的方法是否可以用在前后两个视频的生成也让他们保持连贯性。

itechmusic commented 2 months ago

音频长度超过参考视频时，目前是先将视频倒放(https://github.com/TMElyralab/MuseTalk/blob/main/scripts/inference.py#L95) ,如果还不够长再将参考视频从头开始放(https://github.com/TMElyralab/MuseTalk/blob/main/musetalk/utils/utils.py#L48) 。也就是说，正放->倒放->正放->倒放，这样能实现一个视频的无限循环