search

FeiYull / TensorRT-Alpha

🔥🔥🔥TensorRT for YOLOv8、YOLOv8-Pose、YOLOv8-Seg、YOLOv8-Cls、YOLOv7、YOLOv6、YOLOv5、YOLONAS......🚀🚀🚀CUDA IS ALL YOU NEED.🍎🍎🍎
GNU General Public License v2.0
1.3k stars 201 forks source link

yolov8s.trt 为和视频推理耗时比推理图片耗时要低 #75

Open jiamfeng opened 8 months ago

jiamfeng commented 8 months ago

我在3090上面测试了yolov8s.trt，图片是从视频上面解析后保存的，为什么推理图片的耗时（batch_size=1）比推理视频（batch_size=4）的耗时要高。前者是3.2ms; 后者是2.8ms

FeiYull commented 8 months ago

@jiamfeng 是正常的，例如batch_size=4，推理四张图，平均每帧耗时为11.2ms/4=2.8ms

FeiYull commented 8 months ago

@jiamfeng GPU需要warmup，第一帧推理慢正常

jiamfeng commented 8 months ago

@jiamfeng GPU需要warmup，第一帧推理慢正常

嗯嗯，对的，我没注意到耗时平均到每一帧了