Closed tpoisonooo closed 2 years ago
我看源码里 ViT-B input_quant=False 。 想问您那边 input_quant=True 的话,精度预计是多少?
如该行 link, ViT系列模型对输入做的是layer-wise的norm,故其经过预处理后依然是一个int8可以表示的数据,所以实际上无须增加input_quant。
基于上面的原因,如果设为True,精度将几乎不变
我看源码里 ViT-B input_quant=False 。 想问您那边 input_quant=True 的话,精度预计是多少?