search

triple-Mu / YOLOv8-TensorRT

YOLOv8 using TensorRT accelerate !
MIT License
1.23k stars 210 forks source link

如何设置导出engine模型的batch呢？ #210

Open tianlongyang-bot opened 2 months ago

tianlongyang-bot commented 2 months ago

转onnx 再转engine 默认batch为1，如何自定义？batch=1多路推理速度很慢

XhHello commented 2 months ago

转onnx 再转engine 默认batch为1，如何自定义？batch=1多路推理速度很慢

是不是可以在pt转onnx时，设置batch的值。请问你可以推理视频或CSI视频流吗

tianlongyang-bot commented 2 months ago

好像是转onnx设置batch , 对于jetson TX1 NX 开发板，batch设置多少合适呢？可以推理视频，我试过例子了，作者的代码能跑通，但是是1batch

XhHello commented 2 months ago

好像是转onnx设置batch , 对于jetson TX1 NX 开发板，batch设置多少合适呢？可以推理视频，我试过例子了，作者的代码能跑通，但是是1batch

看你的显存吧，显存大就可以多设置点，我也不是很懂。请问你用的哪个文件推理的视频啊，需要修改代码吗

tianlongyang-bot commented 2 months ago

我是用的deepstream -app 推理的，文件就是csrc/deepstream/deepstream_app_config.txt 我只是走一下流程

triple-Mu commented 2 months ago

没全没有做batch>1的。deepstream应该支持动态batch的，您可以探索以后为仓库提pr吗？

tianlongyang-bot commented 2 months ago

在 export-det.py 中的

 parser.add_argument('--input-shape',
                        nargs='+',
                        type=int,
                        default=[8, 3, 640, 640],
                        help='Model input shape only for api builder')

default=[1, 3, 640, 640] 改成 default=[8, 3, 640, 640] 后续是否是静态 8 batch 推理，可以一次推理8张图片，是这样的吗

没全没有做batch>1的。deepstream应该支持动态batch的，您可以探索以后为仓库提pr吗？

ChenJian7578 commented 1 week ago

转onnx 再转engine 默认batch为1，如何自定义？batch=1多路推理速度很慢

用triton不就行了 起多个实例