Open QJShan opened 1 year ago
在自己的数据集上进行微调,运行后出现以下错误。 这是相关设置 tokenizer = AutoTokenizer.from_pretrained("../chatglm-6b", trust_remote_code=True) model = AutoModel.from_pretrained("../chatglm-6b", trust_remote_code=True).quantize(8).half().cuda() lora_config = LoraConfig( r=8, task_type=TaskType.SEQ_2_SEQ_LM, target_modules=['query_key_value'], lora_alpha=32, lora_dropout=0.1, ) model = get_peft_model(model, lora_config) 数据集的map函数是常规的处理成“input_id”和"labels"的形式。 希望有大佬指导一二。 forward() got an unexpected keyword argument 'decoder_input_ids'
# setup peft peft_config = LoraConfig( task_type=TaskType.CAUSAL_LM, inference_mode=False, r=finetune_args.lora_rank, lora_alpha=32, lora_dropout=0.1, ) model = get_peft_model(model, peft_config)
在自己的数据集上进行微调,运行后出现以下错误。 这是相关设置 tokenizer = AutoTokenizer.from_pretrained("../chatglm-6b", trust_remote_code=True) model = AutoModel.from_pretrained("../chatglm-6b", trust_remote_code=True).quantize(8).half().cuda() lora_config = LoraConfig( r=8, task_type=TaskType.SEQ_2_SEQ_LM, target_modules=['query_key_value'], lora_alpha=32, lora_dropout=0.1, ) model = get_peft_model(model, lora_config) 数据集的map函数是常规的处理成“input_id”和"labels"的形式。 希望有大佬指导一二。 forward() got an unexpected keyword argument 'decoder_input_ids'