search

TMElyralab / MuseTalk

MuseTalk: Real-Time High Quality Lip Synchorization with Latent Space Inpainting
Other
2.94k stars 365 forks source link

MuseTalk + ChatTTS? #113

Open shaoguowen opened 5 months ago

shaoguowen commented 5 months ago

用chatTTS+MuseTalk做了一个有趣的demo：

  1. 使用chatgpt改编了延边刺客的经典台词。
  2. chatTTS生成语音。我用到了https://ixo96gpj4vq.feishu.cn/wiki/SjiZwNSuUin9fukZh23cIMBOnge 分享的电台主持人语音，并把转成csv在[https://github.com/jianchang512/ChatTTS-ui 使用。
  3. 用MuseTalk生成口型。

https://github.com/TMElyralab/MuseTalk/assets/57278682/f2eef380-f79b-463b-aed9-f8ecfba0f81c

Just for fun哈哈哈，更多AIGC的内容可以看我的视频号（温少的AIGC），欢迎交流讨论～

aidenyzhang commented 5 months ago

看起来bbox用的默认参数0，嘴张得有些大。 在这个形象上bbox用-7效果更佳。

shaoguowen commented 5 months ago

看起来bbox用的默认参数0，嘴张得有些大。 在这个形象上bbox用-7效果更佳。

确实好很多

https://github.com/TMElyralab/MuseTalk/assets/57278682/f0673677-5c1c-4b23-b335-d215f89ea0ea

masterayman commented 5 months ago

大佬字幕怎么弄上去的啊？

shaoguowen commented 5 months ago

大佬字幕怎么弄上去的啊？

剪映

masterayman commented 5 months ago

大佬字幕怎么弄上去的啊？

剪映

不是用：视频翻译配音工具 这个工具吗？

shaoguowen commented 5 months ago

大佬字幕怎么弄上去的啊？

剪映

不是用：视频翻译配音工具 这个工具吗？

都可以呀，看用惯哪个

miumiuc commented 4 months ago

请问一下，原始视频中人物的嘴唇是动的吗，还是一直是闭合的呢

shaoguowen commented 4 months ago

请问一下，原始视频中人物的嘴唇是动的吗，还是一直是闭合的呢

闭合