search

KMnO4-zx / huanhuan-chat

Chat-甄嬛是利用《甄嬛传》剧本中所有关于甄嬛的台词和语句，基于ChatGLM2进行LoRA微调得到的模仿甄嬛语气的聊天语言模型。
493 stars 45 forks source link

微调后没起作用 #26

Open MrLuer opened 4 months ago

MrLuer commented 4 months ago

hi，我用默认的lora微调脚本微调2400step后，使用gui部署。向他提问“你是谁”，回答是清华大学的聊天机器人。而使用仓库预训练的lora模型则回答是嬛嬛。这看上去是训练没起到作用？

navono commented 3 months ago

我也遇到了同样的问题。 我用的是西游记的文本。

YANGCHEN205 commented 2 months ago

hi，我用默认的lora微调脚本微调2400step后，使用gui部署。向他提问“你是谁”，回答是清华大学的聊天机器人。而使用仓库预训练的lora模型则回答是嬛嬛。这看上去是训练没起到作用？

你好，1的问题解决了，我也遇到了这种问题，chatglm1的效果比2要好一点

brucewayne798 commented 1 month ago

我也遇到了同样的问题。 我用的是西游记的文本。

里面的数据集我觉得是有问题。西游记的文本有很多剧情提取，有的output都不是孙悟空的回答，这样练出来不会有太大作用，甚至会让模型变呆，很多通用能力会变得很差。你可以试下他们在openlab上部署的服务，回答效果我觉得不太行。所以需要在数据集上动动心思。