CPP版本多核性能测试分析

RapidAI / RapidASR

商用级开源语音自动识别程序库，开箱即用，全平台支持，中英文混合识别。A Cross-platform implementation of ASR inference. It's based on ONNXRuntime and FunASR. We provide a set of easier APIs to call ASR models.

MIT License

502 stars 60 forks source link

CPP版本多核性能测试分析 #6

Open acely opened 1 year ago

acely commented 1 year ago

测试环境Rocky Linux 8，仅测试cpp版本结果（未测python版本）

简述：

在3台配置不同的机器上分别编译并测试，在fftw和onnxruntime版本都相同的前提下，识别同一个30分钟的音频文件，分别测试不同onnx线程数量的表现。

目前可以总结出大致规律：

并非onnx线程数越多越好
2线程比1线程提升显著，线程再多则提升较小
线程数等于CPU物理核心数时效率最好

实操建议：

大部分场景用3-4线程性价比最高
低配机器用2线程合适

znsoftm commented 1 year ago

不错，感谢

cgisky1980 commented 1 year ago

onnxruntime 看来要快不少

cgisky1980 commented 1 year ago

测试了一下 RK3588 加载模型的时间略长推理速度快很多这里线程数怎么改的？

znsoftm commented 1 year ago

参见： https://github.com/RapidAI/RapidASR/blob/main/cpp_onnx/tester/tester.cpp

znsoftm commented 1 year ago

测试了一下 RK3588 加载模型的时间略长推理速度快很多这里线程数怎么改的？

加载时间长这个是必然的，模型比较大，嵌入板emmc也慢。不过推理时很快。

cgisky1980 commented 1 year ago

参见： https://github.com/RapidAI/RapidASR/blob/main/cpp_onnx/tester/tester.cpp

看到了 thx 4线程正好是RK3588上跑最佳配置