使用批次推理，只有第一张有结果

[iwanggp]

当采用批次为9推理时，只有第一张有结果，其余都是没有结果，获得坐标为0的

[FeiYull]

@iwanggp 编译动态onnx的时候，需要设置最大batch_size，例如：将--maxShapes=images:8x3x640x640 修改成：--maxShapes=images:9x3x640x640

[iwanggp]

那使用不同版本的trtexec转换也会有影响吧

[iwanggp]

我之前有个YOLOv8工程用了同样的方法，批处理推理可以成功，但是我将我的YOLOv8项目拷贝到其他的地方，或者加载之前训练的权重继续训练，再转trt时候，就只能获得第一张图片的结果。怎么这么奇怪吗

[FeiYull]

模型不能拷贝到新的环境

FeiYull @.***

------------------ 原始邮件 ------------------ 发件人: 神雕大侠 @.> 发送时间: 2023年9月8日 17:55 收件人: FeiYull/TensorRT-Alpha @.> 抄送: FeiYull @.>, Comment @.> 主题: Re: [FeiYull/TensorRT-Alpha] 使用批次推理，只有第一张有结果 (Issue #50)

我之前有个YOLOv8工程用了同样的方法，批处理推理可以成功，但是我将我的YOLOv8项目拷贝到其他的地方，或者加载之前训练的权重继续训练，再转trt时候，就只能获得第一张图片的结果。怎么这么奇怪吗

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[iwanggp]

你说必须在原先的机器上吗？我新拉去个工程，从新训练也不行。这么奇怪吗

[FeiYull]

onnx可以随便拷贝到任何环境中，但是.trt文件不行

FeiYull @.***

------------------ 原始邮件 ------------------ 发件人: 神雕大侠 @.> 发送时间: 2023年9月8日 18:54 收件人: FeiYull/TensorRT-Alpha @.> 抄送: FeiYull @.>, Comment @.> 主题: Re: [FeiYull/TensorRT-Alpha] 使用批次推理，只有第一张有结果 (Issue #50)

[iwanggp]

就是转换必须要在当前机器上进行转换吗？我这是同一个机器就是拷贝同一份再训练发现结果无论如何对不齐，trt只有第一张图片有结果。

[iwanggp]

这个用trtexec 命令转换还是有点问题的，现在用代码转换就没问题了。需要重新写一个动态onnx转换的功能就能解决了。用trtexec命令转还是要谨慎。