search

alibaba / MNN

MNN is a blazing fast, lightweight deep learning framework, battle-tested by business-critical use cases in Alibaba
http://www.mnn.zone/
8.62k stars 1.66k forks source link

LSQQuantizer训练量化 #2972

Open lia520 opened 2 months ago

lia520 commented 2 months ago

LSQQuantizer训练量化几个epoch后，通过strip_qat_ops() trip掉量化图，保存模型。之后resume_qat_graph()也不能继续训练了，这是否正常。

另外，我看mnn导出的模型大小不变。 --modelFile quant-checkpoint-epoch017.onnx --MNNModel quant_model.mnn --framework ONNX --bizCode MNNTest --compressionParamsFile quant-checkpoint-epoch017.bin

是否需要用量化模式导出--weightQuantBits 8？

另外，--bizCode MNNTest 和 --bizCode biz 有什么区别？有相关文档说明吗

github-actions[bot] commented 3 days ago

Marking as stale. No activity in 60 days.