Open FuShengRuoXian opened 1 year ago
目前单次预测score时间在500ms左右,请教这是不是极限时间,能否进一步提高预测速度。谢谢。 model.bin 13323kb model.xml 115kb
可以尝试将模型量化为int8格式,https://blog.csdn.net/qq_37541097/article/details/108382807
或者采用异步推理
目前单次预测score时间在500ms左右,请教这是不是极限时间,能否进一步提高预测速度。谢谢。 model.bin 13323kb model.xml 115kb