search

heroinlin / SlowFastTRT

使用TensorRT部署SlowFast模型
19 stars 0 forks source link

请问onnx->tensrort 支持动态batch吗？ #2

Closed wangjingg closed 2 years ago

wangjingg commented 2 years ago

如何使用动态btach进行tensorrt推理

heroinlin commented 2 years ago

如何使用动态btach进行tensorrt推理

我这边没有做动态batch的推理，在tensorrt的engine中有个max_batch_size参数设置， 你可以从这个角度试试。 也可以看看这个地址的介绍 https://zhuanlan.zhihu.com/p/387853124， 后续我有时间也会尝试进行更新。

heroinlin commented 2 years ago

@wangjingg 动态batchsize支持已添加！ 细节请查看提交b2665fa