search

fb029ed / yolov5_cpp_openvino

用c++实现了yolov5使用openvino的部署
Apache License 2.0
267 stars 61 forks source link

加速后的速度 #2

Open GaoXinJian-USTC opened 3 years ago

GaoXinJian-USTC commented 3 years ago

楼主大大加速后fps能到多少呢，有具体的指标吗？

fb029ed commented 3 years ago

楼主大大加速后fps能到多少呢，有具体的指标吗？

后面补实验，应该会到100ms左右吧

fb029ed commented 3 years ago

楼主大大加速后fps能到多少呢，有具体的指标吗？

在onnx转OpenVINO模型的时候,增加参数--data_type fp16 指定模型的输出精度,然后用GPU跑的话测下来确实是100ms左右,但是还有问题,读取模型的时候也得改程序float 指针得改成int16_t 指针,因为没有fp16这种数据类型,但是gpu模型跑的结果和cpu模型跑的结果有差距,我有空再试试吧

YanjiNing commented 2 years ago

up想请问一下我用cpu在虚拟机测得，但是加速后的时间比原生的还慢0.1s，这个正常么

fb029ed commented 2 years ago

up想请问一下我用cpu在虚拟机测得，但是加速后的时间比原生的还慢0.1s，这个正常么

您好，这个openvino是一个硬件相关的框架呀，需要有相应的硬件才能加速的，一般不会用虚拟机。