KMnO4-zx / huanhuan-chat

Chat-甄嬛是利用《甄嬛传》剧本中所有关于甄嬛的台词和语句,基于ChatGLM2进行LoRA微调得到的模仿甄嬛语气的聊天语言模型。
493 stars 45 forks source link

微调效果如何评估 #27

Open xielinzhen opened 4 months ago

xielinzhen commented 4 months ago

使用训练数据问微调后的模型,回答和标签不一样,请问是不是训练的轮数不够还是其他原因呢? 选区_134 选区_133

navono commented 3 months ago

你尝试过西游记的文本吗?我用西游记的文本进行 lora 训练。 训练后启动一点效果都没有。

navono commented 3 months ago

使用 huanhuan 数据集,有效果。 后来查看西游记的数据,看起来可能是数据条目过少,只有 300 多条。huanhuan 是 3729 条。