search

dandelionsllm / pandallm

Panda项目是于2023年5月启动的开源海外中文大语言模型项目，致力于大模型时代探索整个技术栈，旨在推动中文自然语言处理领域的创新和合作。
Apache License 2.0
1.07k stars 91 forks source link

能否提供一下模型量化的方法？其他在mac上进行推理测试 #27

Closed doctor1984 closed 1 year ago

SparkJiao commented 1 year ago

可以参考 GPTQ-for-LLaMA 进行量化