search

codefuse-ai / MFTCoder

High Accuracy and efficiency multi-task fine-tuning framework for Code LLMs. This work has been accepted by KDD 2024.
Other
614 stars 65 forks source link

麻烦我想问下一个可行性问题，对CodeFuse-CodeGeeX2-6B进行微调时是否可以使用peft的方式中chatglm2 config进行微调？万分感谢🙏 #13

Closed whyPeanutbutter closed 8 months ago

whyPeanutbutter commented 9 months ago

拜读公众号文章《CodeFuse-MFTCoder提升CodeGeeX2-6B代码能力》https://mp.weixin.qq.com/s/kWMtHIoe3ytN8pRVi_CHZg 文章指出可以使用MFT对codegeex2进行微调。

在peft中未找到对应codegeex2的config，我是否可以直接使用chatglm2 config进行微调使用？我想进行微调验证的时候，发现使用chatglm2这种方式，在训练数据比较小（小于1000条）会出现错误：

train_sample_weights = [x / sum(all_train_datasets_length) for x in all_train_datasets_length]
ZeroDivisionError: division by zero

使用同样的数据量对chatglm2进行训练时不会出现这种情况，所以是否是需要修改model_mapping.py文件使用独立的方式。 或者直接使用chatglm2 config是可行的。万分期待你的回答！🙏

twelveand0 commented 8 months ago

你好，未能及时回复，抱歉！ codegeex2使用的是chatglm2架构，可以共用chatglm2的modeling和config文件。