使用lora微调llama结果不对

[lv199882]

大佬，您好，我在执行python finetune_wn11.py的代码时损失函数loss很大，训练完保存的权重文件如下，而且adapter_model.bin文件的大小只有1KB，训练的结果不对。我想请教一下您什么原因，是transformers和peft版本的原因吗？我用的是transformers==4.28.0，peft==0.5.0。

[hhy-huang]

I met the same problem, but my loss was not strange. The generated responses includes instruction sentence.