search

PaddlePaddle / FastDeploy

⚡️An Easy-to-use and Fast Deep Learning Model Deployment Toolkit for ☁️Cloud 📱Mobile and 📹Edge. Including Image, Video, Text and Audio 20+ main stream scenarios and 150+ SOTA models with end-to-end optimization, multi-platform and multi-framework support.
https://www.paddlepaddle.org.cn/fastdeploy
Apache License 2.0
2.98k stars 464 forks source link

InvalidArgumentError: some trt inputs dynamic shape info not set, check the INFO log above for more details. #2266

Open mahesh11T opened 1 year ago

mahesh11T commented 1 year ago

Environment

FastDeploy version: e.g 0.8.0 OS Platform: Windows x64 Hardware: Nvidia GPU 3050 CUDA 11.7 CUDNN 8.4 Program Language: Python 3.8

Problem description

image

i have set the inputs for tensort its showing still missing, how to fix this error? i am using paddle fasterrcnn model.

rainyfly commented 9 months ago

这个错误提示表明，在使用TensorRT时，有些输入的动态形状（dynamic shape）没有被正确设置。TensorRT支持动态形状输入，这意味着在推理时，输入数据的大小可以是可变的。但是，在使用这个功能时，你需要明确指定哪些输入是动态形状的，并给出它们的最大、最小和最优形状。

要解决这个问题，你可以按照以下步骤操作：

检查模型输入：首先，检查你的模型输入，确定哪些输入需要设置为动态形状。 设置动态形状：对于需要动态形状的输入，使用TensorRT的API来设置它们的最大、最小和最优形状。这通常在构建TensorRT引擎时进行。 更新代码：确保你的代码中正确地设置了这些动态形状参数。 验证和测试：在修改后，验证模型是否能够正确运行，并进行一些测试以确保性能得到提升且没有引入错误。