search

PaddlePaddle / PaddleSpeech

Easy-to-use Speech Toolkit including Self-Supervised Learning model, SOTA/Streaming ASR with punctuation, Streaming TTS with text frontend, Speaker Verification System, End-to-End Speech Translation and Keyword Spotting. Won NAACL2022 Best Demo Award.
https://paddlespeech.readthedocs.io
Apache License 2.0
11.12k stars 1.85k forks source link

Improve the performace #2934

Open bnuzhouwei opened 1 year ago

bnuzhouwei commented 1 year ago

My CPU is amd 3900x, but it cost 5s to tts of the '今天的天气真不错啊'，

and cost 3s convert the zh.wav to '我认为跑步最重要的就是给我带来了身体健康',

it is too slow for use for even for a single device.

iftaken commented 1 year ago

这个速度是在第一次使用CLI服务的速度，可以尝试Python版本的代码，在第一次使用时会加载模型，比较慢，第二次使用时会快很多，目前CLI中默认是动态图的推理，除此之外也可以尝试使用静态图推理以及压缩量化的加速方案，推理速度会显著提升

bnuzhouwei commented 1 year ago

不是第一次使用的速度，而是光推理的速度，已经把模型加载的时间给去掉了，现在依赖超级多，是否有办法简化一些，让整个Pipeline清晰一些，更好优化