Closed lxn96 closed 4 years ago
模型量化前后模型文件大小没有变化,推理速度也差不多相等,想问下是什么问题?
这个只是模拟量化,量化的具体效果需要再部署平台才能体现
是用生成的pt模型文件直接去部署平台推理吗?
部署平台需要有对应的加速模块。
我也想问下这个问题。按理来说经过8bit量化后模型大小应该是比之前小的啊,为什么并没有变化,模拟量化的效果要怎么样才能体现出来呢,纯小白,求解
需要部署的时候才能体现
模型量化前后模型文件大小没有变化,推理速度也差不多相等,想问下是什么问题?