search

ttanzhiqiang / onnx_tensorrt_project

Support Yolov5(4.0)/Yolov5(5.0)/YoloR/YoloX/Yolov4/Yolov3/CenterNet/CenterFace/RetinaFace/Classify/Unet. use darknet/libtorch/pytorch/mxnet to onnx to tensorrt
210 stars 43 forks source link

Unet推理速度和占用显存问题 #11

Closed Tristesse-stk closed 3 years ago

Tristesse-stk commented 3 years ago

如题，我按照您的配置成功运行起来了unet.cpp，图像指定大小是512*512，显卡型号3060，mode是2（INT8）但是检测下来检测速度是在77ms左右，与您在此项目中的Benchmark中提到的16ms相差甚远，显存占用也有1.2G，请问根据您的经验来看我还有哪些地方没设置对？ Snipaste_2021-09-18_13-49-24

ttanzhiqiang commented 3 years ago

我是用2080ti显卡跑的，你可以尝试一下其他算法，比如yolov5这个，看看差多少。

Tristesse-stk commented 3 years ago

我试了下yolov5，在mode0(FP32)和mode2(INT8)下都是75ms左右，在mode1(FP16)下一直生成不了engine文件。 Yolov5xINT8结果图 Yolov5xFP32结果图 我的main()设置如下，其他没改。请问是不是我还有哪里没设置正确？ yolov5main函数设置

ttanzhiqiang commented 3 years ago

你看看3060支持FP16不，配置应该没问题的

Tristesse-stk commented 3 years ago

您好，问题已解决，是因为我没把Debug模式切到Release模式下，切过去后推理速度和显存占用就合理了。