search

Byronnar / tensorflow-serving-yolov3

本项目主要对原tensorflow-yolov3版本做了许多细节上的改进,增加了TensorFlow-Serving工程部署,训练了多个数据集，包括Visdrone2019, 安全帽等, 安全帽mAP在98%左右, 推理速度1080上608的尺寸大概25fps.
https://blog.csdn.net/ForeeverF/article/details/103651924
MIT License
381 stars 130 forks source link

请教下关于推理速度问题 #111

Open jiangxinufo opened 3 years ago

jiangxinufo commented 3 years ago

目前使用了docker+nvidia-docker2+tensorRT+TensorFlow-Serving环境对savemodel模型进行了部署，通过客户端-服务器模式测试，时间大概4秒左右，这个性能是无法满足在线应用的。（服务器是tesla T4 16g） 想请教下，各位大神有什么更好的解决方案吗？或者调用模型的方式，本地化部署等等。谢谢

jiangxinufo commented 3 years ago

服务器本地视频模式推理，大概每秒17帧

alexct-max commented 2 years ago

请问你解决了这个问题嘛，目前这的推理时间为500ms左右，达不到线上部署的要求