tuning之后 似乎glm6b模型的基础对话能力也消失了。

[kulame]

你们遇到过类似的问题吗

[beyondguo]

跟你微调的数据关系很大，你用的啥数据微调的？

[valkryhx]

这就是所谓的灾难性遗忘问题 只要微调 这个问题不可避免。 目前建议是微调时减小 learning rate /epoch 以及混合新老语料，学习+复习的思路进行微调，但是也不能保证效果一定会好。