CVI-SZU / Linly

Chinese-LLaMA 1&2、Chinese-Falcon 基础模型;ChatFlow中文对话模型;中文OpenLLaMA模型;NLP预训练/指令微调数据集
3.03k stars 235 forks source link

关于Chinese-LLaMA-2-13B (hf格式) #125

Open sun1092469590 opened 1 year ago

sun1092469590 commented 1 year ago

关于Chinese-LLaMA-2-13B (hf格式),有问题问下哈: (1)项目中开源的Chinese-LLaMA-2-13B (hf格式),是基于meta-llama/Llama-2-13b-hf 进行全参数微调的得到的是吗? (2)Chinese-LLaMA-2-13B (hf格式)模型后续如果想继续预训练或sft,可以用其他项目的代码(该项目可以微调及二次预训练meta-llama/Llama-2-13b-hf)来做可以吗?