search

alibaba / MNN

MNN is a blazing fast, lightweight deep learning framework, battle-tested by business-critical use cases in Alibaba
http://www.mnn.zone/
8.71k stars 1.67k forks source link

多输入+动态shape输入的模型量化问题 #2471

Closed GuangyanZhang closed 9 months ago

GuangyanZhang commented 1 year ago

问题描述如下： 1.多输入的模型量化：参照https://github.com/alibaba/MNN/blob/master/pymnn/examples/MNNQuant/test_mnn_offline_quant.py， 脚本支持多输入模型的量化，模型量化成功 2.动态shape+多输入模型量化：通过学习文档动态shape需要resizeTensor+resizeSession配合使用，结果如下： a.python的api使用https://mnn-docs.readthedocs.io/en/latest/pymnn/Interpreter.html#mnn-interpreterd， 支持该模型float模型正常推理,请问使用mnn.interpreter如何做动态shape+多输入模型的量化呢？ b.python的api模型量化使用的MNN.nn api，请问nn api是否有resizeTensor+resizeSession这两个函数，如何使用呢？ 备注：以上所有基于python实现的。

jxt1234 commented 1 year ago

这个工具是用的 expr API 做的模型量化。部分模型可能无法用 Interpreter + Session 的 API 运行，需要使用Module API https://mnn-docs.readthedocs.io/en/latest/inference/python.html#python-module-api

github-actions[bot] commented 9 months ago

Marking as stale. No activity in 60 days.