search

ModelTC / MQBench

Model Quantization Benchmark
Apache License 2.0
763 stars 140 forks source link

关于int16量化 #33

Closed pixel-lt closed 2 years ago

pixel-lt commented 2 years ago

文档里提到nnie跟qnn支持16bit量化， 实际训练时是否只需要把a_qscheme的bit设置成16即可。

Tracin commented 2 years ago

QNN可以, NNIE的INT16量化参数写入需要另外的编码文件,暂未提供,故暂不可写入量化参数,这样会有一定的精度损失.

pixel-lt commented 2 years ago

后续有更新计划吗

Tracin commented 2 years ago

我们在以往的经验里, 认为INT16一般不会遇到量化精度问题