search

qwopqwop200 / GPTQ-for-LLaMa

4 bits quantization of LLaMA using GPTQ
Apache License 2.0
2.98k stars 457 forks source link

GPTQ vs bitsandbytes #288

Open iaoxuesheng opened 5 months ago

iaoxuesheng commented 5 months ago

您好，感谢您贡献的项目，我有一个地方没理解，GPTQ vs bitsandbytes 这里面的对比列出的nf4等其他的都是什么意思