13B-chat微调训练每一步训练时长很长

[KevinFan0]

请问下现在用最新release的baichuan2-13B-chat-v2版本做微调，在不使用xformers的情况下每一步的训练时长都需要50多秒，这是正常的吗？我现在的训练数据都是比较短的

这是我的训练参数

hostfile="" deepspeed --hostfile=$hostfile fine-tune.py \ --report_to "none" \ --data_path "" \ --model_name_or_path "" \ --output_dir "./output" \ --model_max_length 8192 \ --num_train_epochs 1 \ --per_device_train_batch_size 1 \ --gradient_accumulation_steps 1 \ --save_strategy "steps" \ --save_steps 20000 \ --learning_rate 1e-5 \ --lr_scheduler_type constant \ --adam_beta1 0.9 \ --adam_beta2 0.98 \ --adam_epsilon 1e-8 \ --max_grad_norm 1.0 \ --weight_decay 1e-4 \ --warmup_ratio 0.01 \ --logging_steps 10 \ --gradient_checkpointing True \ --deepspeed ds_config.json \ --bf16 True \ --tf32 True > log1.txt

[blueskyban]

你好，请问你用几块什么型号显卡能，能微调13B-chat，我做微调时总是报CUDA out of memory

[MrSupW]

我这边也是一样的问题 Finetune巨慢