alibaba / MNN

MNN is a blazing fast, lightweight deep learning framework, battle-tested by business-critical use cases in Alibaba
http://www.mnn.zone/
8.76k stars 1.67k forks source link

QAT 支持输入多输出吗? #1953

Closed GuangyanZhang closed 1 year ago

GuangyanZhang commented 2 years ago

多输入为有不同的shape,2/3/4维都有,请问这个QAT范式支持吗?如果支持的话,在保存模型前的一次前向推理应该怎么写呢?如官方给出的example: predict = net.forward(F.placeholder([1, 3, 224, 224], F.NC4HW4))

那么请问我这个多输入的应该怎么写吗?我尝试按照net的输入顺序一次填入,执行失败了(没有报错),结果出现很多print出来是很多array~,求教

yyfcc17 commented 2 years ago

https://github.com/alibaba/MNN/tree/master/tools/MNNPythonOfflineQuant

GuangyanZhang commented 2 years ago

执行net.forward出现segmentation fault?请问这个是出现什么bug的提示呢?

GuangyanZhang commented 2 years ago

我的模型想做PTQ量化,输入是有11个,RNN的结构,输出有11个,调用了net.foeward函数,请问这个前向推理支持吗?我现在执行net.forward出现segmentation fault,11个输入有2维3维4维的输入