open-mmlab / mmpose

OpenMMLab Pose Estimation Toolbox and Benchmark.
https://mmpose.readthedocs.io/en/latest/
Apache License 2.0
5.55k stars 1.21k forks source link

在rk3588上使用rknn-toolkit2进行rtmpose推理 #2895

Open y0qy opened 8 months ago

y0qy commented 8 months ago

What is the feature?

我查找了下,好像并没有发现有关在rknn上部署的文档,请问是否已经有相关的文档但我并没有找到?我想要在rk3588(安卓系统)的npu上使用c++进行rtmpose的推理,这样不会占用cpu的资源。

Any other context?

No response

Ben-Louis commented 8 months ago

MMDeploy提供了RTMPose rknn部署的config https://github.com/open-mmlab/mmdeploy/blob/main/configs/mmpose/pose-detection_simcc_rknn-fp16_static-256x192.py

把部署教程里面onnx/tensorrt config换成对应的rknn config就行了

y0qy commented 8 months ago

MMDeploy提供了RTMPose rknn部署的config https://github.com/open-mmlab/mmdeploy/blob/main/configs/mmpose/pose-detection_simcc_rknn-fp16_static-256x192.py

把部署教程里面onnx/tensorrt config换成对应的rknn config就行了

  1. 直接转换就可以了吗。我转换过ncnn,但是是缺少end2end.bin和end2end.param文件的
  2. 并且我想要在rk3588板子的Android系统上部署的话,需要其他的方式吧?比如:https://github.com/open-mmlab/mmdeploy/blob/dev-1.x/docs/en/01-how-to-build/android.md
JokerCai commented 7 months ago

MMDeploy提供了RTMPose rknn部署的config https://github.com/open-mmlab/mmdeploy/blob/main/configs/mmpose/pose-detection_simcc_rknn-fp16_static-256x192.py

把部署教程里面onnx/tensorrt config换成对应的rknn config就行了

我按照这个转换成功了,生成了rknn模型,但在rk3588板子上用SDK运行就一直报错:E RKNN: [09:58:29.373] failed to submit!, op id: 134, op name: Expand:Div_278_broadcast1, flags: 0x5, task start: 278, task number: 5, run task counter: 2, int status: 0。 请问这是因为什么呢?

lsm140 commented 4 months ago

MMDeploy提供了RTMPose rknn部署的config https://github.com/open-mmlab/mmdeploy/blob/main/configs/mmpose/pose-detection_simcc_rknn-fp16_static-256x192.py 把部署教程里面onnx/tensorrt config换成对应的rknn config就行了

我按照这个转换成功了,生成了rknn模型,但在rk3588板子上用SDK运行就一直报错:E RKNN: [09:58:29.373] failed to submit!, op id: 134, op name: Expand:Div_278_broadcast1, flags: 0x5, task start: 278, task number: 5, run task counter: 2, int status: 0。 请问这是因为什么呢?

请问一下,你rknn模型最终成功部署了吗?

lsm140 commented 3 months ago

MMDeploy提供了RTMPose rknn部署的config https://github.com/open-mmlab/mmdeploy/blob/main/configs/mmpose/pose-detection_simcc_rknn-fp16_static-256x192.py

把部署教程里面onnx/tensorrt config换成对应的rknn config就行了

大佬,我有个疑问,我rtmpose python推理效果还可以,但是转到onnx 用onnxruntime测试,得到关键点坐标和图对不上很离谱,有没有正确的处理方式啊 我后面还要转rknn