High Accuracy and efficiency multi-task fine-tuning framework for Code LLMs. This work has been accepted by KDD 2024.
614
stars
65
forks
source link
麻烦我想问下一个可行性问题,对CodeFuse-CodeGeeX2-6B进行微调时是否可以使用peft的方式中chatglm2 config进行微调?万分感谢🙏 #13
Closed
whyPeanutbutter closed 8 months ago
拜读公众号文章《CodeFuse-MFTCoder提升CodeGeeX2-6B代码能力》https://mp.weixin.qq.com/s/kWMtHIoe3ytN8pRVi_CHZg 文章指出可以使用MFT对codegeex2进行微调。
在peft中未找到对应codegeex2的config,我是否可以直接使用chatglm2 config进行微调使用?我想进行微调验证的时候,发现使用chatglm2这种方式,在训练数据比较小(小于1000条)会出现错误:
使用同样的数据量对chatglm2进行训练时不会出现这种情况,所以是否是需要修改model_mapping.py文件使用独立的方式。 或者直接使用chatglm2 config是可行的。万分期待你的回答!🙏