search

PaddlePaddle / PaddleDetection

Object Detection toolkit based on PaddlePaddle. It supports object detection, instance segmentation, multiple object tracking and real-time multi-person keypoint detection.
Apache License 2.0
12.83k stars 2.89k forks source link

1、使用paddle2.6环境导出的inference模型和使用paddle2.3环境导出的inference模型，他们在使用trt加速的时候（基于paddleetection2.3代码），性能差异大吗？ #9210

Open stephen-TT opened 1 week ago

stephen-TT commented 1 week ago

1、使用paddle2.6环境导出的inference模型和使用paddle2.3环境导出的inference模型，他们在使用trt加速的时候（基于paddleetection2.3代码），性能差异大吗？

2、同一个paddle2.3版本的inference模型（paddle2.6训练，paddle2.3导出），在1050ti（CUDA 10.2\CUDNN 7.6.5\trt7.0.0.11）上面和3070（CUDA 11.2\CUDNN 8.2.1\TENSORRT 8.0.1.6）上面使用trt加速（基于paddleetection2.3代码），我测试出加速效果没有明显的差异，这是什么原因。

Originally posted by @stephen-TT in https://github.com/PaddlePaddle/PaddleDetection/issues/9091#issuecomment-2467055027

Bobholamovic commented 1 week ago

推理速度和使用的推理引擎版本（看起来你测试的两种情况都是paddle 2.3？）有很大关系。对于新版本paddle导出的模型，请尝试使用新版本paddle进行推理，以确保最大化性能。

stephen-TT commented 1 week ago

我训练的时候用的是paddle2.6的环境，然后在paddle2.3环境中导出成inference模型，最后我使用paddleDetection2.3 版本的代码来对这个inference模型进行trt加速，我发现在1050ti显卡上和3070显卡上，模型的加速耗时差不多。理论上3070显卡的性能更强，应该比1050ti显卡加速更明显才对吧

Bobholamovic commented 1 week ago

推理时的耗时主要和导出以及推理使用的paddle版本有关。不同显卡上的加速效果，也和使用的CUDA版本等环境因素有关。建议使用更新的paddle版本导出和推理模型，如最新的3.0-beta；对于3070显卡，使用显卡能够支持的最新的CUDA、cuDNN和TensorRT版本。