请问是否支持断点续训？lora和全参微调

liucongg / ChatGLM-Finetuning

基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等

2.63k stars 292 forks source link

Open lianglinyi opened 1 year ago

lianglinyi commented 1 year ago

例如像别的repo是启动脚本里加checkpoint_dir参数指向断点的模型路径，继续训

liucongg commented 1 year ago

后面可能会增加，其实比较简单的处理办法是，断点lora参数合并到原始模型之后，利用合并后的参数直接初始化