yolov5 模型量化后的精度损失

[zhjw0927]

大佬好：

我修改yolov5模型结构为多标签检测结构，其中不同标签独立head，量化后的累积SNR和逐层SNR是相对较小的，如下图： 累积SNR： Conv_258: | ████████████████████ | 5.794% Conv_261: | ███████████████████ | 5.533% Conv_255: | █████████████████ | 5.011% Conv_252: | █████████████████ | 4.985% Conv_249: | ████████████ | 3.570% Conv_235: | █████████ | 2.716% 逐层SNR： Conv_0: | ████████████████████ | 0.001% Conv_374: | ████████ | 0.000% Conv_274: | █████ | 0.000% Conv_272: | ████ | 0.000%

不过，从推理的结果上来看，存在精度损失，由于未使用量化后的engine计算mAP，所以没有量化指标对比。

从网上查资料说，head预测box和类别得分数，经过sigmoid或softmax计算，对于量化比较敏感，所以不建议head部分进行量化。这种说法正确吗？麻烦大佬提供下经验指导。 感谢！

[ZhangZhiPku]

5%不小了兄弟，对于检测的模型你可以想办法进一步下降到1%左右，当然你可以直接选择不量化head的部分

[SuGuilin]

大佬好：

我修改yolov5模型结构为多标签检测结构，其中不同标签独立head，量化后的累积SNR和逐层SNR是相对较小的，如下图： 累积SNR： Conv_258: | ████████████████████ | 5.794% Conv_261: | ███████████████████ | 5.533% Conv_255: | █████████████████ | 5.011% Conv_252: | █████████████████ | 4.985% Conv_249: | ████████████ | 3.570% Conv_235: | █████████ | 2.716% 逐层SNR： Conv_0: | ████████████████████ | 0.001% Conv_374: | ████████ | 0.000% Conv_274: | █████ | 0.000% Conv_272: | ████ | 0.000%

不过，从推理的结果上来看，存在精度损失，由于未使用量化后的engine计算mAP，所以没有量化指标对比。

从网上查资料说，head预测box和类别得分数，经过sigmoid或softmax计算，对于量化比较敏感，所以不建议head部分进行量化。这种说法正确吗？麻烦大佬提供下经验指导。 感谢！

请问您是如何量化得到这个结果的，我现在也要对我所训练的yolov5的模型进行int8量化