FastDeploy模型预测耗时过长

PaddlePaddle / FastDeploy

⚡️An Easy-to-use and Fast Deep Learning Model Deployment Toolkit for ☁️Cloud 📱Mobile and 📹Edge. Including Image, Video, Text and Audio 20+ main stream scenarios and 150+ SOTA models with end-to-end optimization, multi-platform and multi-framework support.

Apache License 2.0

2.98k stars 463 forks source link

环境

【FastDeploy版本】： fastdeploy- Windows-gpu-1.0.6
【系统平台】: Windows x64(Windows10)
【硬件】：笔记本电脑 Nvidia GPU 2060 6G显存， CUDA 11.2 CUDNN 8.2
【编译语言】： Python(3.9）

问题

【性能问题】
- 在使用语义分割模型（PP_LiteSeg_B_STDC2_cityscapes_without_argmax_infer）每张图像耗时约600ms，
- 分类模型（ResNet50_vd_infer）耗时6ms，
- 检测模型（ppyoloe_plus_crn_m_80e_coco）耗时1400ms（模型均是模型库中下载）
- 分割和检测耗时很长，请问哪方面可能影响了速度，如何排查和解决长耗时

PaddlePaddle / FastDeploy

FastDeploy模型预测耗时过长 #1908

环境

问题