search

shuxueslpi / chatGLM-6B-QLoRA

使用peft库，对chatGLM-6B/chatGLM2-6B实现4bit的QLoRA高效微调，并做lora model和base model的merge及4bit的量化（quantize）。
356 stars 46 forks source link

请教单卡RTX3060训练示例所需时长 #15

Closed hbj52152 closed 1 year ago

hbj52152 commented 1 year ago

您好，请问在配置正常的情况下，跑一遍readme.md里的训练示例大概用多长时间？ 希望有一个参照确认是否配置正确了

单卡 RTX3060 cuda 11.7

示例： python3 train_qlora.py \ --train_args_json chatGLM_6B_QLoRA.json \ --model_name_or_path THUDM/chatglm-6b \ --train_data_path data/train.jsonl \ --eval_data_path data/dev.jsonl \ --lora_rank 4 \ --lora_dropout 0.05 \ --compute_dtype fp32

shuxueslpi commented 1 year ago

@hbj52152 3060的话29小时左右，3090在7~8小时左右