search

airockchip / rknn_model_zoo

Apache License 2.0
1.06k stars 194 forks source link

rk3588 yolov8 原推理耗时为fps=14, int量化完之后推理耗时仅有fps=29, 与该repo显示的74差异较大, 麻烦解答下 #198

Open wojiaohumaocheng opened 1 month ago

zen-xingle commented 1 month ago

1.rknn-toolkit2.2 2.使用网盘 or yolov8 readme 说明的方式导出模型 3.NPU/CPU/DDR定频 https://github.com/airockchip/rknn_model_zoo/blob/main/scaling_frequency.sh 4.使用 capi 接口测试性能 https://github.com/airockchip/rknn-toolkit2/tree/master/rknpu2/examples/rknn_benchmark

满足以上条件后，通常可以获取到repo记录的性能。此外较小概率还有 rknpu 驱动、系统的省电策略影响

Pumpkinor commented 1 month ago

我感觉也可以参考这个demo，多线程跑npu，实测效果还不错 rknn-multi-threaded

BUG1989 commented 3 weeks ago

我感觉也可以参考这个demo，多线程跑npu，实测效果还不错 rknn-multi-threaded

多线程跑只能提升吞吐量，Latency 会更大

Pumpkinor commented 3 weeks ago

FPS的指标，多线程稳提的，单张图没用

BUG1989 commented 3 weeks ago

FPS的指标，多线程稳提的，单张图没用

所以根本就发挥不了 6T 的性能

qinfendekaizhou commented 2 weeks ago

将洗能都调到最佳模式

Zheng-Bicheng commented 2 weeks ago

FPS的指标，多线程稳提的，单张图没用

所以根本就发挥不了 6T 的性能

大佬，3588 的 NPU 本身就是 2T * 3 ，理论上就应该是 2 T 的性能？