search

666DZY666 / micronet

micronet, a model compression and deploy lib. compression: 1、quantization: quantization-aware-training(QAT), High-Bit(>2b)(DoReFa/Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference)、Low-Bit(≤2b)/Ternary and Binary(TWN/BNN/XNOR-Net); post-training-quantization(PTQ), 8-bit(tensorrt); 2、 pruning: normal、regular and group convolutional channel pruning; 3、 group convolution structure; 4、batch-normalization fuse for quantization. deploy: tensorrt, fp32/fp16/int8(ptq-calibration)、op-adapt(upsample)、dynamic_shape
MIT License
2.2k stars 478 forks source link

关于量化后模型的问题 #38

Open mjanddy opened 4 years ago

mjanddy commented 4 years ago

1.我的模型在量化后，权重文件会多出来一些key值，head4.0.q_conv.weight_quantizer.range_tracker.first_w，这些在加载时会报错，这些值有什么影响吗？ 2.量化后的模型可以转换为onnx吗？

manwu1994 commented 3 years ago

1.我的模型在量化后，权重文件会多出来一些key值，head4.0.q_conv.weight_quantizer.range_tracker.first_w，这些在加载时会报错，这些值有什么影响吗？ 2.量化后的模型可以转换为onnx吗？

manwu1994 commented 3 years ago

请问您量化后的模型，输出的参数是int8吗？我将参数输出，仍然是float point...谢谢

ghost commented 3 years ago

请问您量化后的模型，输出的参数是int8吗？我将参数输出，仍然是float point...谢谢

您好，请问您量化后的模型大小有减少吗？为什么我的模型量化之后占用的内存大小没有改变

Racha1992 commented 3 years ago

请问您量化后的模型，输出的参数是int8吗？我将参数输出，仍然是float point...谢谢

您好，请问您量化后的模型大小有减少吗？为什么我的模型量化之后占用的内存大小没有改变

因为这是伪量化啊，保存的weights还是float的，只不过是离散的了

huangshenneng commented 3 years ago

保存的weights还是float的，只不过是离散的了

你好，我看了一下他源码，很多地方都是量化后又直接反量化，这样相当于只是变换权重的值而已吧，并没有实现量化

xiaoluomi commented 2 years ago

请问怎么把这些离散的权重值提取出来

ChanSiYuan commented 2 years ago

请问：量化后的模型如何转换为onnx的问题有解决办法么，STE总是在中间说不支持