heroinlin / SlowFastTRT

使用TensorRT部署SlowFast模型
18 stars 0 forks source link

tensorRT的检测速度 #4

Open HUAZEC opened 2 months ago

HUAZEC commented 2 months ago

使用tensorRT推理一个10秒的视频,大概需要多久

heroinlin commented 1 month ago

我没有做过10秒视频的推理测试。 不同的硬件情况、模型输入采样情况、tensorRT版本都会影响测速耗时。 比如我这边使用的是RTX 3060推理, 使用4秒fps为25分辨率为256x256的视频, 每32帧抽一帧作为slow分支输入, 每8帧抽一帧做fast分支输入, 取batch为1即输入为[1x4x3x256x256, 1x16x3x256x256],推理部分测速效果如下 image 希望对你能有参考价值。