是否有Bloom的Lora微调代码？

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)

MIT License

3.03k stars 368 forks source link

Open acadaiaca opened 1 year ago

acadaiaca commented 1 year ago

目前Chinise Bloom的代码是全量参数微调的，对于Bloom是否有Lora微调代码？

yuanzhoulvpi2017 commented 1 year ago

需要我加上么？其实也挺简单的～

acadaiaca commented 1 year ago

需要我加上么？其实也挺简单的～

如果大佬愿意加上那更好了<抱拳>之前Lora微调chatglm就是用的大佬的代码，好使