search

LlamaFamily / Llama-Chinese

Llama中文社区，Llama3在线体验和微调模型已开放，实时汇总最新Llama3学习资料，已将所有代码更新适配Llama3，构建最好的中文Llama大模型，完全开源可商用
https://llama.family
14.01k stars 1.26k forks source link

能否提供FlagAlpha/Llama2-Chinese-7b-Chat-4bit模型或者有没有脚本可以对7b进行4bit量化 #216

Open futureflsl opened 1 year ago

futureflsl commented 1 year ago

如题，如何进行4bit量化？