search

yhhhli / BRECQ

Pytorch implementation of BRECQ, ICLR 2021
MIT License
247 stars 56 forks source link

权重更新范围限制 #28

Closed rainyBJ closed 2 years ago

rainyBJ commented 2 years ago

想问一下雨杭大佬，你们有没有试过AdaQuant他们的方法，去掉权重更新的范围限制来进行重构呢？这样子理论上量化的效果是不是会有进一步提升？

yhhhli commented 2 years ago

其实这个问题AdaRound论文中已经讨论过了，结论是不如Round形式。 在AdaQuant论文中有效果可能是他们代码每层只finetune了400iters。所以round学习的不如ste那样。而AdaRound论文的实验finetune了一万iters。

image image

rainyBJ commented 2 years ago

好的，感谢！