search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
3.03k stars 368 forks source link

chaglm2-6b使用LoRA微调，model_parallel_mode设置为True，保存checkpoint再加载会报错 #144

Open wxz2002 opened 1 year ago

wxz2002 commented 1 year ago

checkpoint的路径我确定是对的 image

yuanzhoulvpi2017 commented 1 year ago

你有注意到这个issue么https://github.com/yuanzhoulvpi2017/zero_nlp/issues/140

wxz2002 commented 1 year ago

你有注意到这个issue么#140 感谢大佬，但是这个issue中好像是通过训练好的LoRA参数进行二次微调，我希望能够通过resume_from_checkpoint恢复训练，使优化器和学习率等参数恢复到保存checkpoint的状态，不知道为什么会报这个错误

yuanzhoulvpi2017 commented 1 year ago

大佬您好，实在是抱歉，这个功能目前还没实现😂

wxz2002 commented 1 year ago

好的，非常感谢