search

babysor / MockingBird

🚀AI拟声: 5秒内克隆您的声音并生成任意语音内容 Clone a voice in 5 seconds to generate arbitrary speech in real-time
Other
35.24k stars 5.21k forks source link

中英模型怎么训练 #833

Open weisliey opened 1 year ago

weisliey commented 1 year ago

想要同时支持中文和英文的播报，怎么训练模型啊？

babysor commented 1 year ago

最近开发精力不太够，只能提供个思路，目前字幕都处理成拼音了，所以只支持中文，最好是可转成ipa等音素格式，然后属于中英夹杂的语料

weisliey commented 1 year ago

是把中文训练集的拼音转成ipa的格式吗？能提供一个简单的中英混合的训练数据格式看看吗？后面需要训练的数据自己整理。

weisliey commented 1 year ago

最近开发精力不太够，只能提供个思路，目前字幕都处理成拼音了，所以只支持中文，最好是可转成ipa等音素格式，然后属于中英夹杂的语料

大佬，我尝试用了aishell3的中文数据和train-clean-100的英文数据混合训练了，能播报中英文混合的，但是有漏读、合成的最后会多出来一点杂音，大佬能指点一下，怎么消除杂音么？下面是我加载的模型 image

aidec commented 1 year ago

也想了解如何中英文数据混合训练?