May I ask whether int8 model quantization and inference will be supported in the future?

[Alex-Songs]

May I ask whether int8 model quantization (or int4) and inference will be supported in the future?

[chenkui164]

将模型量化为int8，我一直想做的事情，只是目前搁置了。

1、目前看最理性的量化方法是使用量化感知训练的方法，只是我没有设备用于训练，所以一直搁置了。

2、现在进行矩阵计算的使用的是openblas，当有int8模型后，需要用xnnpack替换openblas，改动很大，基本相当于重写了。

个人感觉int8计算是趋势，因为armv8.2已经支持int8的指令集了。

[Alex-Songs]

@chenkui164 对的，目前openblas还不支持int8运算，期待大佬后续的工作。

[cgisky1980]

可以试下众筹租一下训练设备