OrionStarAI / Orion

Orion-14B is a family of models includes a 14B foundation LLM, and a series of models: a chat model, a long context model, a quantized model, a RAG fine-tuned model, and an Agent fine-tuned model. Orion-14B 系列模型包括一个具有140亿参数的多语言基座大模型以及一系列相关的衍生模型,包括对话模型,长文本模型,量化模型,RAG微调模型,Agent微调模型等。
Apache License 2.0
785 stars 57 forks source link

量化版本的量化算法是用的哪一个量化算法? #43

Open huangxiancun opened 8 months ago

huangxiancun commented 8 months ago

Qwen1.5出的量化版本带量化算法的。希望能添加量化算法。

dachengai commented 7 months ago

awq算法