PaddlePaddle / FastDeploy

⚡️An Easy-to-use and Fast Deep Learning Model Deployment Toolkit for ☁️Cloud 📱Mobile and 📹Edge. Including Image, Video, Text and Audio 20+ main stream scenarios and 150+ SOTA models with end-to-end optimization, multi-platform and multi-framework support.
https://www.paddlepaddle.org.cn/fastdeploy
Apache License 2.0
2.99k stars 465 forks source link

RK3568平台开启FlyCV优化加速相关问题? #1603

Closed MrMzl closed 1 year ago

MrMzl commented 1 year ago

利用FastDeploy实现RK3568平台(Firefly-AIO3568J开发板)的部署过程中,如何实现FlyCV的优化加速? 参考https://github.com/PaddlePaddle/FastDeploy/blob/develop/docs/cn/faq/boost_cv_by_flycv.md 文档中流程,在编译过程中打开了FlyCV编译选项,但是推理部署后通过测试时间发现并没有真正用到FlyCV的优化加速,能否提供一个RK平台使用FlyCV的简单流程?

jiangjiajun commented 1 year ago

编译后,在使用时,C++代码调用fastdeploy::vision::EnableFlyCV(); Python代码调用fastdeploy.vision.enable_flycv()来启用FlyCV

MrMzl commented 1 year ago

编译后,在使用时,C++代码调用fastdeploy::vision::EnableFlyCV(); Python代码调用fastdeploy.vision.enable_flycv()来启用FlyCV

RK平台也是直接在部署代码中新增一行代码,调用接口就可以吗?我这边加了这行代码,但是在Python下测得的推理时间和没加变化不大,大概差个2ms,C++下也差不多是这个效果。

Zheng-Bicheng commented 1 year ago

编译后,在使用时,C++代码调用fastdeploy::vision::EnableFlyCV(); Python代码调用fastdeploy.vision.enable_flycv()来启用FlyCV

RK平台也是直接在部署代码中新增一行代码,调用接口就可以吗?我这边加了这行代码,但是在Python下测得的推理时间和没加变化不大,大概差个2ms,C++下也差不多是这个效果。

是这样,flycv只针对预处理有加速,如果预处理时间占比很小,或者没有充分利用到flycv优化过后的算子,性能提升不大很正常。