如何解决paddlespeech_stream模式CPU占用极高问题?

chenkui164 / FastASR

这是一个用C++实现ASR推理的项目，它依赖很少，安装也很简单，推理速度很快，在树莓派4B等ARM平台也可以流畅的运行。支持的模型是由Google的Transformer模型中优化而来，数据集是开源wenetspeech(10000+小时)或阿里私有数据集(60000+小时)，所以识别效果也很好，可以媲美许多商用的ASR软件。

Apache License 2.0

472 stars 72 forks source link

如何解决paddlespeech_stream模式CPU占用极高问题? #75

Open xiayezi2013 opened 5 months ago

xiayezi2013 commented 5 months ago

在Linux机器上测试paddlespeech_stream模型时，CPU占用极高，基本上打满了：

./build/examples/paddlespeech_stream models/paddlespeech_stream/ models/paddlespeech_stream/long.wav

asr_cpu

我可以通过设置线程数OPENBLAS_NUM_THREADS解决cpu核数问题，但会造成性能低，且单核打满。

这种情况导致我无法在生产环境使用，请问有没有解决方案？

chenkui164 commented 5 months ago

用这个项目吧，https://github.com/k2-fsa/sherpa-onnx 里面包含很多预训练模型，https://k2-fsa.github.io/sherpa/onnx/pretrained_models/index.html 如果太占CPU可以选择模型小一些的模型，或者使用int8量化的版本。

yunqiushuiman commented 3 months ago

conformer_online,这个流式的在测试长音频的时候, 运行到一半就卡住,或者报 Segmentation fault (core dumped)