mymusise / ChatGLM-Tuning

基于ChatGLM-6B + LoRA的Fintune方案
MIT License
3.73k stars 440 forks source link

尝试在自己的数据集上使用LORA微调 但是报错 #230

Open QJShan opened 1 year ago

QJShan commented 1 year ago

在自己的数据集上进行微调,运行后出现以下错误。 这是相关设置 tokenizer = AutoTokenizer.from_pretrained("../chatglm-6b", trust_remote_code=True) model = AutoModel.from_pretrained("../chatglm-6b", trust_remote_code=True).quantize(8).half().cuda() lora_config = LoraConfig( r=8, task_type=TaskType.SEQ_2_SEQ_LM, target_modules=['query_key_value'], lora_alpha=32, lora_dropout=0.1, ) model = get_peft_model(model, lora_config) 数据集的map函数是常规的处理成“input_id”和"labels"的形式。 希望有大佬指导一二。 forward() got an unexpected keyword argument 'decoder_input_ids'

zzy347964399 commented 1 year ago
# setup peft
peft_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,
    inference_mode=False,
    r=finetune_args.lora_rank,
    lora_alpha=32,
    lora_dropout=0.1,
)
model = get_peft_model(model, peft_config)