YingkunZhou / EdgeTransformerBench

edge/mobile transformer based Vision DNN inference benchmark
Apache License 2.0
14 stars 2 forks source link

MNN version in your repo #1

Closed hebangwen closed 8 months ago

hebangwen commented 8 months ago

您好,我目前也碰到了 MNN 量化精度完全错误的问题,想请问一下您仓库里能正常推理出结果的 MNN 版本是多少。是否是 MNN/issues/2614 使用的 2.5 版本,还是注释中的 2.6.2 版本

YingkunZhou commented 8 months ago

目前拉取最新代码基本上传统的CNN PTQ int8量化就能work,下面是我实测的精度(取imagenet validation dataset的1/20子集做的快速验证):

Model Top-1 Acc
resnet50 78.3%
mobilenetv3_large_100 54.5%
tf_efficientnetv2_b0 71.8%
tf_efficientnetv2_b1 71.4%
tf_efficientnetv2_b2 72.3%

但是更先进的mobile ViT模型的int8精度就完全不能看了

YingkunZhou commented 8 months ago

本仓库用的各种DL engines的版本信息参见:

https://github.com/YingkunZhou/EdgeTransformerBench/releases/tag/v1.0

hebangwen commented 8 months ago

感谢回复,我这两天基于 2.3.0 测试了 ViT 和 swin transformer,结果还正常,没有出现全部变成一个数值的情况。我再测试一下最新分支的 CNN 网络和 transformer 量化情况。