search

MAhaitao999 / Yolov3_Dynamic_Batch_TensorRT_Triton

将Yolov3模型转成可以进行动态Batch的TensorRT推理以及Triton Inference Serving上部署的TensorRT模型
27 stars 3 forks source link

添加nms后处理后triton性能下降了吗 #5

Closed ZJU-lishuang closed 2 years ago

MAhaitao999 commented 2 years ago

添加NMS对整个Pipeline性能是有提升的

ZJU-lishuang commented 2 years ago

增加NMS是不是增加了显存的消耗

MAhaitao999 commented 2 years ago

增加NMS是不是增加了显存的消耗

理论上是的。添加了NMS之后整体都是放在GPU里面算的，而如果不在模型里添加NMS的话，把它放在你的后处理里面，它一般用CPU计算。你可以自己测一下看看。在模型中添加NMS可能对带宽的好处更大。

ZJU-lishuang commented 2 years ago

降低了模型输出的数据量大小，但是增加了显卡利用率。 利好网络通信，但是成本上升了。

ZJU-lishuang commented 2 years ago

测了一下，消耗了比较多的显存，一点多个G，感觉划不来。 是不是我测错了？

ZJU-lishuang commented 2 years ago

测试发现，添加tensorrt的nms插件并没有提升性能，反而下降了>-<

ZJU-lishuang commented 2 years ago

https://github.com/marcoslucianops/DeepStream-Yolo/issues/142 这个项目测试了多个nms的效果，tensorrt是负优化啊