search

lich99 / ChatGLM-finetune-LoRA

Code for fintune ChatGLM-6b using low-rank adaptation (LoRA)
Apache License 2.0
726 stars 64 forks source link

finetune没效果 #34

Open ChenBinfighting1 opened 1 year ago

ChenBinfighting1 commented 1 year ago

针对你是谁finetune，输出还是原模型的回答，新finetune的pt模型加载没有问题吧，如下： tokenizer = AutoTokenizer.from_pretrained("ChatGLM-6B/chatglm-6b", trust_remote_code=True) model = AutoModel.from_pretrained("ChatGLM-6B/chatglm-6b", trust_remote_code=True).half().cuda()

加载finetune模型

peft_path = "ChatGLM-finetune-LoRA/saved/finetune_test/finetune_test_epoch_2.pt" model.load_state_dict(torch.load(peft_path), strict=False) model.eval()

lich99 commented 1 year ago

如果用LoRA需要的step数较多才会看到效果. 如要更快速/稳定可使用全参数fintune

ChenBinfighting1 commented 1 year ago

如果用LoRA需要的step数较多才会看到效果. 如要更快速/稳定可使用全参数fintune

1，step较多大概是需要多少才会有效果啊？ 2，全参数fintune，在单张3090,24g显存会OOM

lich99 commented 1 year ago
  1. step一般需要1k以上，视任务而定
  2. 全参数一张24G确实...也许one-bit optimizer能救一下
Andylau-BIT commented 1 year ago

@lich99 ，请问作者提供的LORA finetune权重训练参数怎么设置的呢？复现不了效果。r=8, lora_alpha=16, droput=0.1, enable_lora=[True, False, True], 其他参数比如MAX_LENGTH, NUM_EPOCHES, LR？