search

xxw1995 / chatglm3-finetune

最容易上手的0门槛 chatglm3 & agent & langchain 项目
244 stars 36 forks source link

lora存checkpoint的问题 #13

Closed toddlt closed 11 months ago

toddlt commented 11 months ago

请问您有遇到过lora训chatglm3时存下来的checkpoint里是一个12G的pytorch_model.bin而不是几十M的adapter_model.bin的情况吗

xxw1995 commented 11 months ago

听起来是保存了全量的参数，而不是lora参数，重新定义下save函数

toddlt commented 11 months ago

嗯嗯，明白啦，改了管用了