Closed TDIT-haha closed 3 years ago
模型量化时,量化层有什么标准选择么?取哪一层?多少层?我没有具体的概念,有什么建议么?
现在的版本支持全网络8位以上量化,直接用8位量化就可以了,不用选层
模型量化时,量化层有什么标准选择么?取哪一层?多少层?我没有具体的概念,有什么建议么?