search

deepseek-ai / DeepSeek-Coder

DeepSeek Coder: Let the Code Write Itself
https://coder.deepseek.com/
MIT License
6.84k stars 473 forks source link

6.7B模型量化失败，但是33B模型能够正常量化 #179

Open Soulscb opened 2 months ago

Soulscb commented 2 months ago

你好，目前我正在量化deepseek-coder-6.7B，但是量化到97%会报错，然而我量化33B是正常的，量化采用awq，aotuawq = 0.2.6 ，并且 group_size=128，GEMM，请问你们是如何量化的？