search

rockchip-linux / rknn-toolkit

BSD 3-Clause "New" or "Revised" License
771 stars 175 forks source link

rv1126 后量化后输出节点精度显著降低 #427

Closed RookieHuang closed 5 months ago

RookieHuang commented 6 months ago

使用model.zip模型进行rknn工具进行后量化后，在rv1126上推理的输出节点与原始模型存在很大差异。 采用量化分析工具分析发现仅最后有两个节点的eculidean_norm较大，cosine_norm较小，请问如何解决？ image

eRaul commented 6 months ago

可以试下混合量化。直接用默认的混合量化配置。

RookieHuang commented 6 months ago

可以试下混合量化。直接用默认的混合量化配置。

@eRaul 仅对最后两个节点用fp16精度，推理速度直接慢了快一倍，请问下这种情况正常吗？

RookieHuang commented 6 months ago

@eRaul 另外请问一下用python api rknn.inference推理出来的结果和c api中从output.buf（output.wan_float=1）中取出来的结果不太一致是正常的吗？

eRaul commented 5 months ago

可以试下混合量化。直接用默认的混合量化配置。

@eRaul 仅对最后两个节点用fp16精度，推理速度直接慢了快一倍，请问下这种情况正常吗？

贴下混合量化前后的性能分析结果。

eRaul commented 5 months ago

@eRaul 另外请问一下用python api rknn.inference推理出来的结果和c api中从output.buf（output.wan_float=1）中取出来的结果不太一致是正常的吗？

算下余弦距离，看下差多少？