Open xielinzhen opened 4 months ago
使用训练数据问微调后的模型,回答和标签不一样,请问是不是训练的轮数不够还是其他原因呢?
你尝试过西游记的文本吗?我用西游记的文本进行 lora 训练。 训练后启动一点效果都没有。
使用 huanhuan 数据集,有效果。 后来查看西游记的数据,看起来可能是数据条目过少,只有 300 多条。huanhuan 是 3729 条。
使用训练数据问微调后的模型,回答和标签不一样,请问是不是训练的轮数不够还是其他原因呢?