search

begeekmyfriend / tacotron2

Forked from NVIDIA/tacotron2 and merged with Rayhane-mamah/Tacotron-2
BSD 3-Clause "New" or "Revised" License
81 stars 38 forks source link

中英文混合 #40

Open evelynyhc opened 3 years ago

evelynyhc commented 3 years ago

请问您知道如何实现中英文混合语音合成么？如何做呢？有什么可用的模型推荐的么？谢谢

begeekmyfriend commented 3 years ago

在标注上下功夫，拼音用小写字母，英文用大写字母，CMU字典就可以，用空格分词，同一词汇可以不用空格。

evelynyhc commented 3 years ago

在标注上下功夫，拼音用小写字母，英文用大写字母，CMU字典就可以，用空格分词，同一词汇可以不用空格。 中文用标贝语音，英文用ljspeech可以么，两个混合一起训练？

begeekmyfriend commented 3 years ago

只要你的符号没有重叠，并且符号与mel声谱对齐应该可以做到的，另外就是符号出现频次尽量差距别太大。

begeekmyfriend commented 3 years ago

标注你可以试一试g2pC

evelynyhc commented 3 years ago

只要你的符号没有重叠，并且符号与mel声谱对齐应该可以做到的，另外就是符号出现频次尽量差距别太大。 我之前尝试过，但是出来的很不稳定，而且中英文的声纹无法统，不知道有没有啥解决办法呢？

begeekmyfriend commented 3 years ago

请用标贝开源数据作为标准。你自己的训练数据质量可能不太好。混合语料我也不知道哪里免费下载

evelynyhc commented 3 years ago

请用标贝开源数据作为标准。你自己的训练数据质量可能不太好。混合语料我也不知道哪里免费下载

是的 我用的标贝的数据集和ljspeech的单人数据，我也没有找到公开的混合语料，训练出来的效果中英文的声音相差太多，放到一句话里听着有点奇怪

begeekmyfriend commented 3 years ago

那根本不是一个人在说啊

evelynyhc commented 3 years ago

那根本不是一个人在说啊

是啊，我想要的效果是一个人的声音合成一句中英文混合的话，但是不知道怎么做啊

lujunsincerely commented 2 years ago

['tts_fanfanli_22050', 'tts_xiaoya_22050', 'tts_yangluzhuo_22050', 'tts_yuanzhonglu_22050'] 这几个数据集可以分享一下吗