使用esp32-s3跑量化前后的模型，量化后推理速度反而慢了！

[woshing700]

使用与esp32-c6性能相近的esp32-s3跑了量化后的模型代码，推理速度以及计算结果跟大佬知乎上很接近！

（上图是知乎结果，下图是我跑的）推理结果一摸一样的，速度也接近

我又用量化前的模型跑了一遍，发现反而是量化前的推理速度更快！

真的懵了！

量化前跑出来结果也跟知乎一样的，但速度差别很大！

代码链接：https://github.com/nihui/ncnn_on_esp32/tree/master/main

[nihui]

是的 s3 有硬件浮点所以不量化也很快，量化后带来的额外 quant/dequant 操作反而会增加耗时

[woshing700]

呃啊！是这样的吗？我还想靠量化狠狠地提速呢，主要看到大佬知乎上esp32-c6上量化提速这么明显，结果还减速了 大佬有没有办法提高一下推理速度啊？ncnn推理在esp32-s3上速度还能提高一些吗？没有思路了