chatglm3,lora微调报错

[Jsonzhang20]

数据集是系统提供的huanhuan.json

相关参数设置如下： data_collator = DataCollatorForSeq2Seq( tokenizer, model=model, label_pad_token_id=-100, pad_to_multiple_of=None, padding=False )

自定义 TrainingArguments 参数

args = TrainingArguments(
    output_dir="output/ChatGLM",  # 模型输出路径
    num_train_epochs=1,  # epoch
    per_device_train_batch_size=1,  # batch_size
    gradient_accumulation_steps=8,  # 梯度累加，如果你的显存比较小，那可以把 batch_size 设置小一点，梯度累加增大一些
    logging_steps=5,        # 多少步，输出一次log
    save_steps = 100,         # 多少步保存一次
    save_strategy= 'steps',
    # max_steps = 5,           # 总共训练多少步，官方推荐52000
    learning_rate= 1e-4,
    # gradient_checkpointing = True            # 梯度检查，这个一旦开启，模型就必须执行model.enable_input_require_grads()
)

[KMnO4-zx]

windows环境太复杂了，总会出现奇奇怪怪的bug，建议在linux环境下学习本教程，或使用与本教程一样的autodl环境