search

UNeedCryDear / yolov8-opencv-onnxruntime-cpp

yolov8 hub,cpp with onnxruntime and opencv
Apache License 2.0
319 stars 56 forks source link

我在树莓派上摄像头推理只能达到1.5FPS左右，为什么和onnxruntime-py速度差不多 #33

Closed marvellee1 closed 10 months ago

UNeedCryDear commented 11 months ago

你给出视频流推理的代码，我看下你是不是像之前有人做的那样，每次推理都要去加载一次模型，不然不至于fps只有1.5，就算是cpu也不太可能这么慢，

marvellee1 commented 11 months ago

image

UNeedCryDear commented 11 months ago

看起来推理的代码没啥问题，那我估计就是树莓派本身算力的问题了，但是我没有用过这个，所以也不是很清楚。 目前能给出的优化方案是精简模型或者将模型导出为640x480的网络大小，这样你视频或者摄像头的数据不用经过缩放就可以直接检测（或者极端一些320x240,不过这个要看你缩小检测之后效果能否接受，效果太差的话还是640x480）。其他的就是如果检测的背景或者目标简单的话，可以将s模型换成n的试试看，这个提升也挺多的，另外还有一些极端的方法，比如int8等简化手段，但是这个需要你自己有一定的量化基础和部署经验了。

另外，我昨天刚刚更新视频流检测的demo，如果你没有进行分割的显示，只要检测的话，可以去DrawPred函数中修改下，将mask部分去掉，也会快上一些。

marvellee1 commented 11 months ago

好的好的，感谢回复！