yolov5多batchsize预测

[y101361272]

虽然一次是喂了几张图片预测，但是预测一次的间隔也长了不少，感觉多batchsize速度并没有提示，我们和贵公司有合作的，最近在做yolo的边缘检测，这个检测的速度太慢了，一张图片0.3s左右

[sdu-gyf]

多batch对浮点模型来说并没有明显提升，多batch主要是针对定点模型有提升，一般来说4batch的定点模型可以把算力发挥到最大

[y101361272]

请问yolov5模型如何最大发挥TPU最大算力，目前SE5 16 盒子TPU内存使用率不到20%

[sdu-gyf]

可以参考inference中的yolov5s例子，使用量化之后的4batch yolov5s模型