search

laugh12321 / TensorRT-YOLO

🚀 你的YOLO部署神器。TensorRT Plugin、CUDA Kernel、CUDA Graphs三管齐下，享受闪电般的推理速度。| Your YOLO Deployment Powerhouse. With the synergy of TensorRT Plugins, CUDA Kernels, and CUDA Graphs, experience lightning-fast inference speeds.
https://github.com/laugh12321/TensorRT-YOLO
GNU General Public License v3.0
540 stars 67 forks source link

[Question]: 关于【使用了 CUDA 核函数来加速前处理过程】在哪里体现 #23

Closed songsong695 closed 5 months ago

songsong695 commented 5 months ago

您好，请问”使用了 CUDA 核函数来加速前处理过程“，体现在哪里呢，是在ImageBatcher类里面吗，没有发现加速的部分呢，谢谢！

laugh12321 commented 5 months ago

【CUDA核函数加速前处理】在老版本的Python代码中有使用，因为在Python上无法实现真正的多stream并行（batch是一不影响），就改为给C++用了。你要是需要后面可以加上。

songsong695 commented 5 months ago

【CUDA核函数加速前处理】在老版本的Python代码中有使用，因为在Python上无法实现真正的多stream并行（batch是一不影响），就改为给C++用了。你要是需要后面可以加上。

好的，谢谢您！