search

NagatoYuki0943 / anomalib-openvino-cpp

5 stars 0 forks source link

请教如何提高openvino预测速度 #1

Open FuShengRuoXian opened 1 year ago

FuShengRuoXian commented 1 year ago

目前单次预测score时间在500ms左右，请教这是不是极限时间，能否进一步提高预测速度。谢谢。 model.bin 13323kb model.xml 115kb

NagatoYuki0943 commented 1 year ago

可以尝试将模型量化为int8格式，https://blog.csdn.net/qq_37541097/article/details/108382807

NagatoYuki0943 commented 1 year ago

或者采用异步推理