search

laugh12321 / TensorRT-YOLO

🚀 你的YOLO部署神器。TensorRT Plugin、CUDA Kernel、CUDA Graphs三管齐下，享受闪电般的推理速度。| Your YOLO Deployment Powerhouse. With the synergy of TensorRT Plugins, CUDA Kernels, and CUDA Graphs, experience lightning-fast inference speeds.
https://github.com/laugh12321/TensorRT-YOLO
GNU General Public License v3.0
540 stars 67 forks source link

[Help]: 请问如何实现tensorrt模型对多视频流输入的同时预测呢？ #17

Closed Zzzames closed 3 months ago

Zzzames commented 5 months ago

我对yolov5-master中的detect.py做了修改，可以实现开多线程读取多视频流。然后调用pytorch的模型进行同时推理，但是换成.engine模型就不行了，想问问作者这块问题怎么解？

laugh12321 commented 5 months ago

ultralytics/yolov5 是支持TensorRT后端推理的，所以你改成多线程理论上也是可以正常运行的。

laugh12321/TensorRT-YOLO 也是支持实现C++/Python进行多线程推理多个模型的，只需要起多个TRTYOLO/ Detection 即可，目前还没有在仓库中给出多线程推理的例子，可自行实现。