Baichuan7B使用lora微调后测试时总会再次输出query

jianzhnie / LLamaTuner

Easy and Efficient Finetuning LLMs. (Supported LLama, LLama2, LLama3, Qwen, Baichuan, GLM , Falcon) 大模型高效量化训练+部署.

https://jianzhnie.github.io/llmtech/

Apache License 2.0

547 stars 60 forks source link

Open GaoXinJian-USTC opened 11 months ago

GaoXinJian-USTC commented 11 months ago

为什么我把Baichuan7B使用lora微调后测试时总会再次输出一遍问题，是数据预处理时没有做好吗？

jianzhnie commented 11 months ago

你是怎么处理数据的