LLM微调

[shuangshuangguo]

请问该项目是对所有网络层进行微调，还是仅对部分网络层微调呢？

[shuangshuangguo]

基于作者给的训练集和训练脚本，我训练完成后，发现模型的通用聊天能力下降，请问有什么比较好的办法避免这个问题吗？ 也就是说，如何在保证原有ChatGLM能力的基础上，加上新的领域能力？

[heavendai]

用Lora的方式，应该会好一些。