使用opt工具将推理模型优化为Paddle-Lite模型时指定--valid_targets=rockchip_npu无法转换

PaddlePaddle / Paddle-Lite

PaddlePaddle High Performance Deep Learning Inference Engine for Mobile and Edge (飞桨高性能深度学习端侧推理引擎）

https://www.paddlepaddle.org.cn/lite

Apache License 2.0

6.96k stars 1.61k forks source link

使用opt工具将推理模型优化为Paddle-Lite模型时指定--valid_targets=rockchip_npu无法转换 #9010

Closed PaulX1029 closed 9 months ago

PaulX1029 commented 2 years ago

1）Paddle Lite 版本：v2.10 2）Host 环境：Ubuntu 18.04 Android11

模型信息 1）模型名称 ch_PP-OCRv2_det_slim_quant_infer 2）模型链接 https://paddleocr.bj.bcebos.com/dygraph_v2.0/slim/ch_ppocr_mobile_v2.0_det_slim_infer.tar
复现信息：./opt --model_file=./ch_PP-OCRv2_det_slim_quant_infer/inference.pdmodel --param_file=./ch_PP-OCRv2_det_slim_quant_infer/inference.pdiparams --optimize_out=./ch_PP-OCRv2_det_slim_opt --valid_targets=rockchip_npu --optimize_out_type=naive_buffer
问题描述：使用opt工具转换模型时指定--valid_targets=rockchip_npu时，提示npu有不支持的算子导致转换失败，目前尝试的所有OCRv2的模型均有此问题，请问往后会不会添加这方面支持呢？

paddle-bot-old[bot] commented 2 years ago

您好，我们已经收到了您的问题，会安排技术人员尽快解答您的问题，请耐心等待。请您再次检查是否提供了清晰的问题描述、复现代码、环境&版本、报错信息等。同时，您也可以通过查看官网文档、常见问题、历史Issue来寻求解答。祝您生活愉快～

Hi! We've received your issue and please be patient to get responded. We will arrange technicians to answer your questions as soon as possible. Please make sure that you have posted enough message to demo your request. You may also check out the API，FAQ and Github Issue to get the answer.Have a nice day!

hong19860320 commented 2 years ago

--valid_targets=rockchip_npu,arm

hong19860320 commented 2 years ago

建议直接使用 paddlelite-generic-demo ，可以直接读取 paddle 全量化模型，具体参考这篇文档哈~ https://www.paddlepaddle.org.cn/lite/develop/demo_guides/rockchip_npu.html

PaulX1029 commented 2 years ago

--valid_targets=rockchip_npu,arm使用这个参数可以转换成功，但是在机器上运行不了是否是因为rk3568此设备暂未支持此Paddle-Lite模型？

PaulX1029 commented 2 years ago

另：我下载了paddlelite-generic-demo，暂未找到能在Rk3568上支持的有关OCR检测的模型

hong19860320 commented 2 years ago

--valid_targets=rockchip_npu,arm使用这个参数可以转换成功，但是在机器上运行不了是否是因为rk3568此设备暂未支持此Paddle-Lite模型？

是的，目前仅支持 rk1808/1806 rv 1109/1126， RK 第二代的 rk3568、3566、3588 Paddle Lite暂时不支持的，可以走paddle2onnx 和瑞芯微离线工具方案。

hong19860320 commented 2 years ago

另：我下载了paddlelite-generic-demo，暂未找到能在Rk3568上支持的有关OCR检测的模型

嗯，目前没有增加 ocr 的 demo，后续在端侧 SoC NPU 支持ppocr模型且精度达标后，会增加ocr的demo的。

PaulX1029 commented 2 years ago

--valid_targets=rockchip_npu,arm使用这个参数可以转换成功，但是在机器上运行不了是否是因为rk3568此设备暂未支持此Paddle-Lite模型？

是的，目前仅支持 rk1808/1806 rv 1109/1126， RK 第二代的 rk3568、3566、3588 Paddle Lite暂时不支持的，可以走paddle2onnx 和瑞芯微离线工具方案。

可否有类似的案例进行参考呢？谢谢您！

hong19860320 commented 2 years ago

--valid_targets=rockchip_npu,arm使用这个参数可以转换成功，但是在机器上运行不了是否是因为rk3568此设备暂未支持此Paddle-Lite模型？

是的，目前仅支持 rk1808/1806 rv 1109/1126， RK 第二代的 rk3568、3566、3588 Paddle Lite暂时不支持的，可以走paddle2onnx 和瑞芯微离线工具方案。

可否有类似的案例进行参考呢？谢谢您！

@jiangjiajun 辛苦 jiajun 看看~

jiangjiajun commented 2 years ago

Hi, @PaulX1029

这里是一个RK部署分类模型的示例，也许你可以参考一下 https://github.com/PaddlePaddle/Paddle2ONNX/tree/model_zoo/hardwares/rk

ZRS0326 commented 2 years ago

建议直接使用 paddlelite-generic-demo ，可以直接读取 paddle 全量化模型，具体参考这篇文档哈~ https://www.paddlepaddle.org.cn/lite/develop/demo_guides/rockchip_npu.html

我想请问您，您所说的全量化模型是如何得到的呢，我使用paddledetection训练的。想训练全量化模型应该怎么做？能否给我指点一下，万分感谢。

hong19860320 commented 2 years ago

https://github.com/PaddlePaddle/Paddle2ONNX/tree/model_zoo/hardwares/rk

我们提供了一个基于paddleslim 和离线后量化方生成分类模型的例子 https://paddlelite-demo.bj.bcebos.com/tools/PaddleSlim-quant-demo.tar.gz

目前 PaddleSlim 没有直接提供 PaddleDetection 模型库的全量化方法。