search

deepglint / EasyQuant

EasyQuant(EQ) is an efficient and simple post-training quantization method via effectively optimizing the scales of weights and activations.
Other
390 stars 70 forks source link

在训练集上的后量化效果怎么样？ #6

Open xpmemeda opened 3 years ago

xpmemeda commented 3 years ago

您好，我在复现EasyQuant的算法之后，发现确实在验证集上calibration以及easyquant可以获得更好的后量化性能。但是在训练集上来做calibration和easyquant则效果非常非常不稳定，经常eq之后的模型精度还比不上calibration。作者有做过类似的尝试吗？

starimpact commented 3 years ago

都是数据，应该不会有这样的差异，你需要仔细检查一下你的代码，或者在其它任务上尝试一下来做为对比。

yunglechao commented 3 years ago

你可以检查一下log文件，关注下量化的cos相似度在哪一层出现明显的下降，可以适当调整搜索的范围和粒度