ViT-B input quant=False 测试问题

megvii-research / FQ-ViT

[IJCAI 2022] FQ-ViT: Post-Training Quantization for Fully Quantized Vision Transformer

Apache License 2.0

301 stars 48 forks source link

Closed tpoisonooo closed 2 years ago

tpoisonooo commented 2 years ago

我看源码里 ViT-B input_quant=False 。想问您那边 input_quant=True 的话，精度预计是多少？

linyang-zhh commented 2 years ago

如该行 link, ViT系列模型对输入做的是layer-wise的norm，故其经过预处理后依然是一个int8可以表示的数据，所以实际上无须增加input_quant。

基于上面的原因，如果设为True，精度将几乎不变