怎么保留基座模型原有的问答能力

PKU-YuanGroup / ChatLaw

ChatLaw：A Powerful LLM Tailored for Chinese Legal. 中文法律大模型

https://chatlaw.cloud/

GNU Affero General Public License v3.0

6.81k stars 537 forks source link

Open suckseed5 opened 1 year ago

suckseed5 commented 1 year ago

请问在用指令数据微调的时候，有没有再加上通用数据？我在尝试微调的时候： 1、指令+垂直领域问题/不加指令+通用问题 ==》没法区分用户的问题是否要加上指令，加上指令会回答正确，不加回答不上来。 2、垂直领域问题 ==》只能回答垂直领域问题，通用能力完全丧失。

谢谢！