search

MAhaitao999 / Yolov3_Dynamic_Batch_TensorRT_Triton

将Yolov3模型转成可以进行动态Batch的TensorRT推理以及Triton Inference Serving上部署的TensorRT模型
27 stars 3 forks source link

可以使用 yolov3-spp（yolov3_add_postporcessing.py) ? 谢谢 #1

Closed ghost closed 3 years ago

MAhaitao999 commented 3 years ago

@delonleo yolov3-spp与yolov3的输出格式一致，理论上讲使用yolov3_add_postprocessing.py是没有问题的.

ghost commented 3 years ago

谢谢 .. 已经可以做到 .... 一个问题 ... trtexec 结果还是 dynamic batch 吗 ? 看起来像 batch 是 1 ? 可以加 tensors["000_net"].shape[0] = gs.Tensor.DYNAMIC 在 rename_ioname.py 吗 ?

MAhaitao999 commented 3 years ago

谢谢 .. 已经可以做到 .... 一个问题 ... trtexec 结果还是 dynamic batch 吗 ? 看起来像 batch 是 1 ? 可以加 tensors["000_net"].shape[0] = gs.Tensor.DYNAMIC 在 rename_ioname.py 吗 ?

Dynamic_batch的设置是在darknet转onnx一步完成的，采用trtexec转换onnx的时候如果想要得到dynamic batch就得首先确保onnx是动态的。有两种方式: 1. 就是采用graphsurgeon对计算图的输入shape进行修改（我工程里面也是这么给的）；2. 修改cfg文件中的batchsize为-1, 用yolov3_to_onnx.py脚本转换得到的onnx模型直接就是动态的，更简单。

ghost commented 3 years ago

谢谢 .. 已经可以做到 .... 一个问题 ... trtexec 结果还是 dynamic batch 吗 ? 看起来像 batch 是 1 ? 可以加 tensors["000_net"].shape[0] = gs.Tensor.DYNAMIC 在 rename_ioname.py 吗 ?

Dynamic_batch的设置是在darknet转onnx一步完成的，采用trtexec转换onnx的时候如果想要得到dynamic batch就得首先确保onnx是动态的。有两种方式: 1. 就是采用graphsurgeon对计算图的输入shape进行修改（我工程里面也是这么给的）；2. 修改cfg文件中的batchsize为-1, 用yolov3_to_onnx.py脚本转换得到的onnx模型直接就是动态的，更简单。

好的谢谢 ... 🙏 🙏 🙏