这个量化流程可以应用于其他int8量化工具的部署嘛？

aovoc / nnieqat-pytorch

A nnie quantization aware training tool on pytorch.

MIT License

238 stars 40 forks source link

Closed DietDietDiet closed 4 years ago

DietDietDiet commented 4 years ago

你好，请问一下这个库是否量化流程仅仅是对NNIE的量化部署友好呢，是否可以用于训练部署于其他框架的模型，例如mnn？

aovoc commented 4 years ago

可以用来训练部署于其他框架的模型，不一定友好。是否友好需要看量化方法差距有多大，例如平均量化、指数量化、饱和量化、非饱和量化、对称量化、非对称量化等，方法不同，效果就有差异。

DietDietDiet commented 4 years ago

感谢您的及时回复，我理解在训练时由于部署平台的差异性和兼容的需求很难针对不同框架选择不同的量化方法，pytorch官方目前也支持QAT而且并没有细分到具体的量化算法的差异，所以是否可以理解为选择了QAT训练在部署时可以做到比不QAT（无论量化方法的差异）更小的量化损失呢？

aovoc commented 4 years ago

不太对，量化损失是量化算法将数据从fp32稀疏到int8空间的误差度量，和量化算法是息息相关。进行量化感知训练，最好能够确认训练框架量化算法和部署框架的量化方法大体是一致的。

aovoc commented 4 years ago

更新repo，实现了海思量化算法，具体说明见 NNIE量化算法及实现