Closed wsy-yjys closed 1 year ago
--fp16,int8, best 这三个参数应该怎么选呀?如何在不牺牲精度的情况下提升速度?
三个都不填是精度最高的,模型转化时将不会降低浮点数的精度,但是基本没有速度提升,--fp16牺牲少量精度能够大量提升速度,--int8和--best能够提升速度更多,但是精度降低会比较明显,需要进行校准训练。
--fp16,int8, best 这三个参数应该怎么选呀?如何在不牺牲精度的情况下提升速度?