search

Tencent / ncnn

ncnn is a high-performance neural network inference framework optimized for the mobile platform
Other
20.24k stars 4.15k forks source link

armv7 平台上ncnn推理速度比onnxruntime慢 #5344

Open IwraI opened 7 months ago

IwraI commented 7 months ago

detail | 详细描述 | 詳細な説明

编译工具链 ：gcc-sigmastar-9.1.0-2019.11-x86_64_arm-linux-gnueabihf 使用ncnn默认编译选项在 armv7编译静态库后，链接静态库编译demo。模型是fp32

循环10000次，平均单次运行时间为12ms 2

对比onnxruntim平均运行时间为6ms 1

请问编译选项中有影响推理速度的选项吗，有的话需要如何调整。

nihui commented 6 months ago

请提供ncnn模型的 param 内容