2noise / ChatTTS

A generative speech model for daily dialogue.
https://2noise.com
Other
27.21k stars 2.96k forks source link

ChatTTS+MuseTalk? #251

Closed shaoguowen closed 1 week ago

shaoguowen commented 1 month ago
  1. 使用chatgpt改编了延边刺客的经典台词。
  2. chatTTS生成语音。我用到了https://ixo96gpj4vq.feishu.cn/wiki/SjiZwNSuUin9fukZh23cIMBOnge 分享的电台主持人语音,并把转成csv在https://github.com/jianchang512/ChatTTS-ui使用。
  3. 用MuseTalk生成口型:https://github.com/TMElyralab/MuseTalk

https://github.com/2noise/ChatTTS/assets/57278682/ea561feb-c606-4f21-8b40-9cb82643f644

Just for fun哈哈哈,更多AIGC的内容可以看我的视频号(温少的AIGC),欢迎交流讨论~

shirubei commented 1 month ago

厉害了。不过感觉口型还不是很好。不知道换wav2lip等其他一堆东西的话怎么样

ilexcn commented 1 month ago
  1. 使用chatgpt改编了延边刺客的经典台词。
  2. chatTTS生成语音。我用到了https://ixo96gpj4vq.feishu.cn/wiki/SjiZwNSuUin9fukZh23cIMBOnge 分享的电台主持人语音,并把转成csv在https://github.com/jianchang512/ChatTTS-ui使用。
  3. 用MuseTalk生成口型:https://github.com/TMElyralab/MuseTalk

    monalisa_0604-1.mp4 Just for fun哈哈哈,更多AIGC的内容可以看我的视频号(温少的AIGC),欢迎交流讨论~

用UVR5 去除下背景杂音

shaoguowen commented 1 month ago

厉害了。不过感觉口型还不是很好。不知道换wav2lip等其他一堆东西的话怎么样

确实,等EMO和vasa-1都等到emo了

shaoguowen commented 1 month ago
  1. 使用chatgpt改编了延边刺客的经典台词。
  2. chatTTS生成语音。我用到了https://ixo96gpj4vq.feishu.cn/wiki/SjiZwNSuUin9fukZh23cIMBOnge 分享的电台主持人语音,并把转成csv在https://github.com/jianchang512/ChatTTS-ui使用。
  3. 用MuseTalk生成口型:https://github.com/TMElyralab/MuseTalk

monalisa_0604-1.mp4 Just for fun哈哈哈,更多AIGC的内容可以看我的视频号(温少的AIGC),欢迎交流讨论~

用UVR5 去除下背景杂音

人声很清楚呀

shaoguowen commented 1 month ago

这是那几个csv文件 魅力大叔_male.csv 电视台女主持_female.csv 知心小姐姐_female.csv 阳光开朗大男孩_male.csv 纯情男大学生_male.csv 声音有点像陈一发_female.csv

shaoguowen commented 1 month ago

https://github.com/2noise/ChatTTS/assets/57278682/ab8f8b4c-2332-4195-86cf-129064c9524c