search

SCIR-HI / Huatuo-Llama-Med-Chinese

Repo for BenTsao [original name: HuaTuo (华驼)], Instruction-tuning Large Language Models with Chinese Medical Knowledge. 本草（原名：华驼）模型仓库，基于中文医学知识的大语言模型指令微调
Apache License 2.0
4.34k stars 429 forks source link

请问如何基于中文Alpaca大模型进行指令微调？ #38

Closed SupritYoung closed 9 months ago

SupritYoung commented 1 year ago

我观察到作者在README 中提到了目前已支持 中文Alpaca大模型。但其也是一个 lora 权重，如何在模型里加载两份 lora 权重呢？

oneTaken commented 1 year ago

一份lora 权重 + 基础的模型就是一个完整的模型。 两份lora 权重就是两个大模型，互斥的。

s65b40 commented 11 months ago

您好，lora是可以叠加的，llama+中文alpaca lora可以合并为一个模型，之后可以和我们训练的lora进行叠加

jzssz commented 6 months ago

您好，lora是可以叠加的，llama+中文alpaca lora可以合并为一个模型，之后可以和我们训练的lora进行叠加

请问如何将llama与您训练的lora叠加？（或者llama+中文alpaca lora合并为一个模型之后，如何再和您训练的lora进行叠加？）感谢！！！