Open bbilixzc opened 6 months ago
在Jetson Xavier NX上使用Paddle Inference部署PaddleSlim量化的PPYOLOE模型: 但是推理时的输出信息表示int8的推理没有实现,实际速度也没有获得提升:
请问如何才能正确的使用Paddle Inference部署int8量化模型?
参考这里的文档 https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.7/deploy/python
配置参数 --run_mode
--run_mode
问题确认 Search before asking
请提出你的问题 Please ask your question
在Jetson Xavier NX上使用Paddle Inference部署PaddleSlim量化的PPYOLOE模型:
但是推理时的输出信息表示int8的推理没有实现,实际速度也没有获得提升:
![1708271680760](https://github.com/PaddlePaddle/PaddleDetection/assets/40461420/fd80bc14-bd0f-4d5d-82fd-0e6b80bdeed6)
请问如何才能正确的使用Paddle Inference部署int8量化模型?