search

mymusise / ChatGLM-Tuning

基于ChatGLM-6B + LoRA的Fintune方案
MIT License
3.71k stars 444 forks source link

怎么基于之前训练过的checkpoint继续训练 #207

Open tzzzzzzzx opened 1 year ago

tzzzzzzzx commented 1 year ago

能否基于之前的checkpoint继续训练？每次都需要重新开始会造成较多的时间浪费。

yp20000921 commented 1 year ago

代码的model = get_peft_model(model, peft_config)改成model = PeftModel.from_pretrained(model, "xxx")应该就可以了吧

luohuan02 commented 1 year ago

如果是 model.save_pretrained(training_args.output_dir) 的模型是可以这样的，需要加上可训练参数 PeftModel.from_pretrained(model, "模型保存路径", is_trainable=True)，已测试 ok

代码的model = get_peft_model(model, peft_config)改成model = PeftModel.from_pretrained(model, "xxx")应该就可以了吧