search

laugh12321 / TensorRT-YOLO

🚀 你的YOLO部署神器。TensorRT Plugin、CUDA Kernel、CUDA Graphs三管齐下，享受闪电般的推理速度。| Your YOLO Deployment Powerhouse. With the synergy of TensorRT Plugins, CUDA Kernels, and CUDA Graphs, experience lightning-fast inference speeds.
https://github.com/laugh12321/TensorRT-YOLO
GNU General Public License v3.0
540 stars 67 forks source link

[Question]: 为什么不使用Python代码将ONNX转换为engine #33

Closed final0920 closed 3 months ago

final0920 commented 3 months ago

大佬 除了安装trt执行trtexec --onnx=models/best.onnx --saveEngine=models/best.engine --fp16， 有没有办法通过python版的trt通过代码转换呢。我需要部署到不同的客户端，打算直接给onnx，第一次运行的时候动态转换成engine。否则会出现算力不匹配问题

laugh12321 commented 3 months ago

最开始的版本有写Python代码直接将onnx转换为engine。但是通过代码转换也必须要有TensorRT环境的，而且代码如果写的有问题在部署时也不好排查。在不同架构不同版本的TensorRT的客户端肯定要重新转换模型，与其这样还不如直接用官方的trtexec反正都要TensorRT环境。

也就是说只要导出一个onnx模型，在不同的设备重新转engine就行，就不会出现架构不匹配的问题。

final0920 commented 3 months ago

大佬有联系方式吗。想加你细聊一下，有偿

laugh12321 commented 3 months ago

GitHub页面的联系方式私我，加微信