search

PaddlePaddle / PaddleSpeech

Easy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.
https://paddlespeech.readthedocs.io
Apache License 2.0
10.99k stars 1.83k forks source link

小样本微调得到的模型能否根据文本生成有情绪和停顿的语音？ #3422

Open JiadiLee opened 1 year ago

JiadiLee commented 1 year ago

在/home/Paddle/speech/PaddleSpeech/examples/other/tts_finetune/tts3 目录下，通过小样本微调出来的模型，没有修改配置参数，直接运行 ./run.sh --stage 6 --stop-stage 6 ，得到的语音没有情绪，在文本中加入，和。等标点符号，在语音中也没有暂停，情绪和停顿可以通过修改配置或者加入数据训练实现吗？

zxcd commented 1 year ago

可以在phoneme的中间加sil或者sp增加提顿时长。

JiadiLee commented 1 year ago

可以在phoneme的中间加sil或者sp增加提顿时长。

感谢回复！那情绪的话有办法调整吗？能够识别出文本的情绪进行音调这种的调整吗？

zxcd commented 1 year ago

情绪的话 建议使用感情丰富的数据进行finetune。由于我们现在使用的aishell3本身从数据上情绪相对平淡，所以如果你有相应需求的话最好finetune一下。

ppy2017 commented 1 year ago

请问怎么在phoneme中增加时长呢

可以在phoneme的中间加sil或者sp增加提顿时长。

stale[bot] commented 1 year ago

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.