微调训练失败 - Githubissues

jianzhnie / LLamaTuner

Easy and Efficient Finetuning LLMs. (Supported LLama, LLama2, LLama3, Qwen, Baichuan, GLM , Falcon) 大模型高效量化训练+部署.

https://jianzhnie.github.io/llmtech/

Apache License 2.0

557 stars 62 forks source link

Closed QJShan closed 1 year ago

QJShan commented 1 year ago

你好大佬博主！在使用lora微调的时候出现一下loss异常的原因可能是什么。 pytorch ：2.0 在数据预处理阶段将输入以及padding处的label标记为-100，在最后的计算交叉损失中忽略-100标志位的损失。

jianzhnie commented 1 year ago

学习率设置的太高了

QJShan commented 1 year ago

学习率设置的太高了

5e-3还是太高了吗一般设置多少我同样的参数同样的数据集在glm-6b中训练没问题

QJShan commented 1 year ago

学习率设置的太高了我刚入门nlp领域，有劳大佬你指点一二，学习率的设置有什么样技巧我这边将学习率设置称为了5e-5 训练一定step后 loss又突然上升

jianzhnie commented 1 year ago

可能和你的数据集有关，你训练 epochs 太多，导致过拟合