search

DLLXW / baby-llama2-chinese

用于从头预训练+SFT一个小参数量的中文LLaMa2的仓库；24G单卡即可运行得到一个具备简单中文问答能力的chat-llama2.
MIT License
2.34k stars 288 forks source link

请问是从头开始预训练的，为什么在项目中体现到了llama2，初学者不太理解 #36

Closed GromZhang closed 10 months ago

GromZhang commented 10 months ago

如题，请问您在那部分代码中使用llama2的权重，我想给您多学习一下，也请各位专家帮忙解答。

GromZhang commented 10 months ago

我理解了，起因是对专业领域的知识了解不充分。llama2.c提供的是Llama 2 LLM 的“全栈”训练+推理解决方案