search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.81k stars 351 forks source link

请教一下大佬，chatglm2全量微调之后的模型，还能再被Lora微调吗？ #145

Open lianglinyi opened 1 year ago

lianglinyi commented 1 year ago

请教一下大佬，chatglm2全量微调之后的模型，还能再被Lora微调吗？

yuanzhoulvpi2017 commented 1 year ago

可以的，不影响

lianglinyi commented 1 year ago

我现在微调有些报错，不太知道怎么解决 Target module QuantizedLinear() is not supported. Currently, only torch.nn.Linear and Conv1D are supported. image

代码里我看应该是在这个地方开始有问题， main.py 165行，166行这。求教 model = model.to(torch.bfloat16) model = get_peft_model(model, config)

yuanzhoulvpi2017 commented 1 year ago

你是用了chatglm2自己提供的量化吧。不建议使用它自己提供的量化方式

lianglinyi commented 1 year ago

是的，全量微调时候，用了chatglm2 int8量化。 那意思是我全量微调的模型不应该量化是吧，我这机器不太行，不量化跑不动

yuanzhoulvpi2017 commented 1 year ago

将transformers升级到最新版本，然后使用transformers提供的量化方法（本质上它用的就是bitsandbytes量化方式）。你注意改一下。试一试

lianglinyi commented 1 year ago

感谢大佬，我先试试