使用Google白皮书8位定点量化方法

SpursLipu / YOLOv3v4-ModelCompression-MultidatasetTraining-Multibackbone

YOLO ModelCompression MultidatasetTraining

GNU General Public License v3.0

444 stars 136 forks source link

Closed wsypy closed 3 years ago

wsypy commented 3 years ago

您好，量化之后模型参数并没有下降，速度也没有提升，准确率下降了，请问8位量化后优势体现在哪呢?

wsypy commented 3 years ago

如果从32位到8位，模型大小不应该有1/4的压缩吗?

SpursLipu commented 3 years ago

量化是需要在专门的推理框架上体现的，生成在对应框架上的权重文件后模型大小会按照量化倍数减小，速度会根据推理框架有所提升，但是这些pytorch不支持，所以看不到压缩和加速，这里只是做模拟量化训练参数。你可以看下模拟量化的意义。

wsypy commented 3 years ago

您有尝试使用tensorrt或者opencv.dnn做推理吗?opencv.dnn不支持某些激活函数，貌似mobilenet的深度可分离卷积也不支持，有推荐的实现推理的方案吗?

SpursLipu commented 3 years ago

本项目主要设计得是FPGA的推理方案，你说的这些推理框架应该需要做一些模型转化