search

DingXiaoH / RepVGG

RepVGG: Making VGG-style ConvNets Great Again
MIT License
3.34k stars 435 forks source link

参数重组之后的模型，量化精度比一般网络变差很多，有解决的方法吗？ #59

Closed Wuqiman closed 3 years ago

Wuqiman commented 3 years ago

我尝试把repvgg或者acnet，在参数重组后进行量化训练或者后量化，都比其他网络的量化掉点多很多。我理解为是参数重组后，参数分布太奇怪了，感觉这种方式对量化很不友好，有什么解决的方法吗？

AlphaPlusTT commented 3 years ago

我用repvgg做多标签分类，int8量化后性能下降在1%以内

DingXiaoH commented 3 years ago

我试了一下，量化训练可以做到0.5%左右的掉点。这几天会放出代码。

Wuqiman commented 3 years ago

你好，是分类吗？我是用重参数化的方法，做检测的backbone。这里会不会有不同任务的差距？------------------ 原始邮件 ------------------ @.> 发送时间: 2021年5月30日(星期天) 凌晨1:00 @.>; @.**@.>; 主题: Re: [DingXiaoH/RepVGG] 参数重组之后的模型，量化精度比一般网络变差很多，有解决的方法吗？ (#59)

Wuqiman commented 3 years ago

我试了一下，量化训练可以做到0.5%左右的掉点。这几天会放出代码。

是进行重参数后，加上0均值1方差的bn，再量化训练的吗？需要加上bn后再微调吗？

angryhen commented 3 years ago

我试一下，这训练可以做到0.5%左右的掉点。几天会放出代码。

期待，请问什么时候更新这部分代码？

irving-qin commented 3 years ago

我这边尝试：

  1. 如果只量化activation 8bit量化的精度，甚至比全精度还略高。
  2. activation 、weight都是8bit （首尾层不量化），精度只有Top1： 58% （RepVGG-A0）。
DingXiaoH commented 3 years ago

更新了量化方法，正在调参，调好后会放出量化好的模型

irving-qin commented 3 years ago

最新尝试： RepVGG-A0 activation 8bit / weight 4bit精度 63%。

hobbitlzy commented 2 years ago

请问大家有PTQ的量化方法吗，发现PTQ效果很差。