search

alibaba / MNN

MNN is a blazing fast, lightweight deep learning framework, battle-tested by business-critical use cases in Alibaba
http://www.mnn.zone/
8.69k stars 1.66k forks source link

MNN 支持 INT16 量化吗？ #3018

Closed Asxin closed 1 month ago

Asxin commented 2 months ago

MNN 支持 INT16 量化吗？ 此问题分为两个：

  1. 是否支持将FP32 模型量化到 int16 ？
  2. 是否支持 INT16 模型的推理？INT16 模型在CPU上推理相比 FP32 是否会有性能的大幅提升？
jxt1234 commented 2 months ago
  1. 不支持，建议对应换成 fp16
  2. 不支持，建议对应用 int8