search

CMKRG / QiZhenGPT

QiZhenGPT: An Open Source Chinese Medical Large Language Model｜一个开源的中文医疗大语言模型
GNU General Public License v3.0
576 stars 69 forks source link

QiZhen-CaMA-13B-Checkpoint-12400需要用到cama指令微调的lora权重吗 #5

Open zihoudanyuan opened 1 year ago

zihoudanyuan commented 1 year ago

你好，cama参考链接（https://github.com/zjunlp/KnowLM）里除了全量的预训练权重（ZhiXi-13B-Diff），还有LoRA指令微调权重（ZhiXi-13B-LoRA），请问如果想使用QiZhen-CaMA-13B-Checkpoint-12400，是基于全量的预训练权重（ZhiXi-13B-Diff）合并得到的完整cama权重来做，还是也要用到cama的LoRA指令微调权重（ZhiXi-13B-LoRA）

DendiHust commented 1 year ago

需要与全量预训练的原始CAMA一起使用，不需要zhixi-13b-lora