Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案,结构参考alpaca
https://github.com/Facico/Chinese-Vicuna
Apache License 2.0
4.14k stars 421 forks source link

执行finetune.sh时出现问题 #34

Closed tianbuwei closed 1 year ago

tianbuwei commented 1 year ago

There were missing keys in the checkpoint model loaded: ['base_model.model.model.embed_tokens.weight', 'base_model.model.model.layers.0.self_attn.q_proj.weight', 'base_model.model.model.layers.0.self_attn.k_proj.weight', 'base_model.model.model.layers.0.self_attn.v_proj.weight', ....] 程序在训练完成后,需要加载模型参数进行预测时会报错,如上: 我看了下您的代码,好像模型只会加载 LoRA的参数,而不加载LLaMa的参数,所以才会出现这样的问题。 请问一下,我这该怎么处理

Facico commented 1 year ago

@tianbuwei 如果是missing key的warning的话是没有问题的。因为是分两段加载,peft在只加载lora那一段的时候会出现这个问题,但此时的model已经加载过llama参数了。

你加载模型报错是在运行哪个脚本的时候报错,同时可以参考我们的issue template提供更完整的报错信息。