PaddlePaddle / PaddleSpeech

Easy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.
https://paddlespeech.readthedocs.io
Apache License 2.0
10.94k stars 1.83k forks source link

[TTS]使用自定义小数据集微调方案得到的微调后的模型可否被speech_server调用?可以的话,下述具体配置问题如何解决? #2958

Open StanfordAgula opened 1 year ago

StanfordAgula commented 1 year ago

问题详细描述: 01 使用图1中PaddleSpeech的小数据集(自己录制的音频文件)微调方案得到微调后的模型(12句模型)目录结构如图2

image 图1 小数据集微调方案 方案地址:https://aistudio.baidu.com/aistudio/projectdetail/4573549?sUid=2470186&shared=1&ts=1663753541400

image image image image image 图2 自定义微调模型结果目录

02 得到微调模型后,想在speech_server这里面配置对应的微调模型时,am, voc, lang, voc_config, voc_ckpt, voc_stat完全同图5配置;engine_list同图4配置;am_config, am_ckpt, phones_dict, speaker_dict配置为自定义的图2微调模型对应的文件;_amstat部分因为12句微调模型未生成该文件,此处应该填写什么?其它配置有问题吗?

image 图4 PaddleSpeech技术老师提供的speech_server的application.yaml配置信息

image 图5 PaddleSpeech技术老师提供的speech_server的application.yaml配置信息 配置信息对应的项目地址:/home/aistudio/PaddleSpeech/paddlespeech/server/conf/application.yaml

lym0302 commented 1 year ago

1、am_stat部分因为12句微调模型未生成该文件,此处应该填写什么? 填写 预训练模型的 stats 文件 2、其它配置有问题吗? 目前看起来没有问题,你可以试试看

exceedzhang commented 1 year ago

小样本数据微调,失败!speech_server调用出现如下图所示的错误:

image

麻烦能否告知是什么原因?错误显示util模块没有找到。 我在如下目录运行tts微调都是正常运行的。 ~/autodl-tmp/PaddleSpeech/examples/other/tts_finetune/tts3# ./run.sh check oov get mfa result align.py:60: YAMLLoadWarning: calling yaml.load() without Loader=... is deprecated, as the default Loader is unsafe. Please read https://msg.pyyaml.org/load for full details. Setting up corpus information... Number of speakers in corpus: 1, average number of utterances per speaker: 198.0 /root/autodl-tmp/PaddleSpeech/examples/other/tts_finetune/tts3/tools/montreal-forced-aligner/lib/aligner/models.py:87: YAMLLoadWarning: calling yaml.load() without Loader=... is deprecated, as the default Loader is unsafe. Please read https://msg.pyyaml.org/load for full details. Creating dictionary information... Setting up training data... Calculating MFCCs...

iftaken commented 1 year ago

你这个是在把Aistudio项目本地化的时候出现的问题吗?看起来并不是aistudio的环境

yunduobaba commented 1 year ago

同样的问题,通过aistudio训练好的模型,想部署到自己的服务器,通过speechserver来调用自己的模型,不知道该如何配置,按照楼主的图5设置了application.yaml文件,完全指定到了本地,但是生成出来的声音,像哑巴在说话,不知道式什么问题,这个自己训练的模型,在aistudio上合成一点问题没有