Closed lry0223 closed 9 months ago
- lora与其基模型是绑定关系。理论上,你提到的用法(chinese-alpaca-2-lora + chinese-llama-2)是错误的。chinese-alpaca-2-lora只能与原版llama-2合并得到chinese-alpaca-2。
- 你有指令精调数据就直接在chinese-alpaca-2上做SFT就行了。
崔老师您好,我还是不太理解,对于1,我看介绍里chinese-alpaca-2是基于chinese-llama-2训练得到的,为什么需要合并的是原版llama2呢。对于2,这样做后是否还是合并到原版llama2而不能合入自己预训练的基模型。如果是这样的话,我该怎么对自己预训练的基模型精调呢?
好的,感谢崔老师
提交前必须检查以下项目
问题类型
模型训练与精调
基础模型
Chinese-LLaMA-2 (7B/13B)
操作系统
Linux
详细描述问题
您好,我先通过预训练Chinese-LLAMA-2得到一个自己的预训练基模型。现在我想最快的得到基于它的一个通用的对话模型。我可不可以直接把Chinese-Alpaca-2的lora权重合并到这个基模型上?另外如果我还有自己的一些指令精调数据,我是应该从头训练一个精调lora权重合并到我的基模型上,还是可以用我的数据精调Chinese-Alpaca-2后合并到基模型,感谢回答
依赖情况(代码类问题务必提供)
运行日志或截图