Closed wsypy closed 3 years ago
如果从32位到8位,模型大小不应该有1/4的压缩吗?
量化是需要在专门的推理框架上体现的,生成在对应框架上的权重文件后模型大小会按照量化倍数减小,速度会根据推理框架有所提升,但是这些pytorch不支持,所以看不到压缩和加速,这里只是做模拟量化训练参数。你可以看下模拟量化的意义。
您有尝试使用tensorrt或者opencv.dnn做推理吗?opencv.dnn不支持某些激活函数,貌似mobilenet的深度可分离卷积也不支持,有推荐的实现推理的方案吗?
本项目主要设计得是FPGA的推理方案,你说的这些推理框架应该需要做一些模型转化
您好,量化之后模型参数并没有下降,速度也没有提升,准确率下降了,请问8位量化后优势体现在哪呢?