search

FeiYull / TensorRT-Alpha

🔥🔥🔥TensorRT for YOLOv8、YOLOv8-Pose、YOLOv8-Seg、YOLOv8-Cls、YOLOv7、YOLOv6、YOLOv5、YOLONAS......🚀🚀🚀CUDA IS ALL YOU NEED.🍎🍎🍎
GNU General Public License v2.0
1.3k stars 201 forks source link

多线程运行，速度增加 #57

Open CF-chen-feng-CF opened 10 months ago

CF-chen-feng-CF commented 10 months ago

单线程运行时，一张图片4ms，两个线程开启后，每个线程都变成8ms， 这是为什么？ 用opencv的GPU版本推断时，2个线程，速度会有轻微增加，但不会直接变成2倍，

FeiYull commented 10 months ago

可能是线程组塞，考虑一个engine下面创建多个context，每个contxet对应一个线程

CF-chen-feng-CF commented 10 months ago

@FeiYull 把engine和context放类的成员变量中，多次实例化这个类放在不同的线程中，他们因该是相互独立的才对，理论上不会有线程阻塞

jiaoxiaosong commented 7 months ago

@CF-chen-feng-CF 把engine和context放类的成员变量中，多次实例化这个类放在不同的线程中，他们因该是相互独立的才对，理论上不会有线程阻塞。 我现在的实现是一个类中实例化多个engine 和context，这种可以吗