search

PaddlePaddle / PaddleX

All-in-One Development Tool based on PaddlePaddle（飞桨一站式全流程开发工具）
Apache License 2.0
4.77k stars 938 forks source link

使用TensorRT部署加载FasterRCNN模型时报错 #1303

Open CashBai opened 2 years ago

CashBai commented 2 years ago

系统环境为：win10+cuda11.2+cudnn8.1+TensorRT8.0.1.6+Python3.8 当使用pdx.deploy.Predictor初始化加载模型时，use_trt=False时能正常加载，=True时会报错。代码及报错如下图 image image 当加载的模型为PPYolov2时，则不会报错，但是加载时间会长达2-3分钟，然后便能正常运行预测，是否正常？

will-jl944 commented 2 years ago

该报错情况为已知问题。FasterRCNN模型使用trt加速需要设置子图的dynamic shape，较为繁琐，我们已经在2.1版本暂时关闭了RCNN模型python部署的trt加速功能。如果有RCNN模型使用trt加速的需求，可参考Paddle Inference相关文档改写PaddleX的Python部署代码。

当加载的模型为PPYolov2时，则不会报错，但是加载时间会长达2-3分钟，然后便能正常运行预测，是否正常？

正常的，如果使用trt加速，加载模型时会进行子图融和优化。

aaaaalun commented 2 years ago

@will-jl944 您好，目前我使用的是fasterRCNN的c++部署方式，我遇到的情况也是一样的问题，不知道是否关闭了c++的trt加速功能？也需要改写paddlex的部署代码吗？或者有什么教程可以介绍一下如何设置dynamic shape