search

PaddlePaddle / PaddleSpeech

Easy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.
https://paddlespeech.readthedocs.io
Apache License 2.0
10.99k stars 1.83k forks source link

[TTS] 请问如何使用数据集里的韵律标签 #2761

Closed SG-XM closed 1 year ago

SG-XM commented 1 year ago

默认的 PaddleSpeech fs2 的前端是不含韵律信息的 ,如果我引入了韵律标注, 如何在训练过程中引入这个信息呢? 这是否意味着要修改声学模型的代码? 声学模型的输入pitch energy duration的那些特征信息吧,我该怎么引入韵律信息呢?

yt605155624 commented 1 year ago

参考 https://github.com/PaddlePaddle/PaddleSpeech/tree/develop/examples/csmsc/tts3_rhy

SG-XM commented 1 year ago

参考 https://github.com/PaddlePaddle/PaddleSpeech/tree/develop/examples/csmsc/tts3_rhy

也就是说韵律标签只在 MFA 阶段会用到吗,就是添加--rhy-with-duration参数, 如果要是 aishell3 数据集的话,MFA model 需要重新训练吗,引入韵律标签的话需要重新训练MFA模型吗,我现在用的这个https://paddlespeech.bj.bcebos.com/MFA/ernie_sat/aishell3_model.zip

yt605155624 commented 1 year ago

需要重新训练 MFA，因为发音字典会增加 #1~#4

SG-XM commented 1 year ago

需要重新训练 MFA，因为发音字典会增加 #1~#4 请问 AISHELL3 的 MFA 预训练模型咱们这里有吗?

yt605155624 commented 1 year ago

https://paddlespeech.bj.bcebos.com/MFA/ernie_sat/aishell3_model.zip 是不带韵律标签的 MFA 结果，带韵律标签的 MFA 没有，需要你自己训一个

1nlplearner commented 1 year ago

mfa的结果中，韵律标签前或后是静音，该怎么处理，比如结尾处是 '', 'sp', ''

yt605155624 commented 1 year ago

@1nlplearner 这块没有做特殊处理，感兴趣可以做不同的实验（比如把 sp 和 sp1~sp4 进行合并）试一下效果

1nlplearner commented 1 year ago

@1nlplearner 这块没有做特殊处理，感兴趣可以做不同的实验（比如把 sp 和 sp1~sp4 进行合并）试一下效果

用aishell3训练了一下，发现韵律标签并没有起到什么作用，推理时加不加韵律标签区别几乎没有，就是一个没有感情的蹦字机器

Daisyqk commented 11 months ago

用aishell3训练了一下，发现韵律标签并没有起到什么作用，推理时加不加韵律标签区别几乎没有，就是一个没有感情的蹦字机器

请问有aishell3加了韵律标签的MFA结果吗