search

WisdomShell / codeshell

A series of code large language models developed by PKU-KCL
http://se.pku.edu.cn/kcl
Other
1.61k stars 120 forks source link

请问按照run_finetune.sh微调之后模型还有记忆功能吗 #66

Closed huknn closed 7 months ago

huknn commented 9 months ago 
          1、CodeShell支持绝大部分主流编程语言，其中包括C#

2、CodeShell提供的模型代码为标准的transformers格式，可以通过transformers架构轻松使用DeepSpeed、Lora等方法，具体可以参考我们给出的微调示例：

https://github.com/WisdomShell/codeshell/blob/6ab83d569d2852d3873682025dfd7e3c758f5b2a/finetune/run_finetune.sh#L19

Originally posted by @ruixie in https://github.com/WisdomShell/codeshell/issues/21#issuecomment-1773694297

ruixie commented 7 months ago

根据我们的经验，模型微调后的能力和微调语料的质量有很大的关系，确实有微调后灾难性遗忘现象的发生，所以对于微调语料需要精心准备。