预训练效率问题

[18140663659]

Reminder

• [X] I have read the README and searched the existing issues.

Reproduction

accelerate launch src/train_bash.py \ --stage pt \ --model_name_or_path $model_name_or_path \ --do_train \ --dataset $dataset \ --streaming \ --max_steps 10000 \ --finetuning_type full \ --output_dir $output_dir \ --overwrite_cache \ --per_device_train_batch_size 2 \ --gradient_accumulation_steps 8 \ --lr_scheduler_type cosine \ --logging_steps 10 \ --save_steps 500 \ --save_total_limit 2 \ --learning_rate 5e-6 \ --num_train_epochs 1.0 \ --plot_loss \ --use_fast_tokenizer false \ --preprocessing_num_workers 64 \ --cutoff_len 2048 \ --bf16 \ --warmup_steps 10 \ --max_grad_norm 1.0 2>&1 | tee $output_dir/log.txt

Expected behavior

在7卡上运行以上预训练代码，10000steps训练大概要2天左右的时间，请问是否有提效的一些方式

System Info

torch==1.14.0a0+410ce96 uvicorn fastapi==0.95.1 sse-starlette tiktoken trl==0.7.4 peft>=0.4.0 accelerate>=0.21.0 jieba rouge-chinese gradio fsspec==2023.9.2 transformers==4.31.0

deepspeed==0.9.1

deepspeed==0.9.3 nltk openpyxl

Others

无

[codemayq]

不知道你是训练什么模型

1. 在不爆显存的情况下，适当提高 per_device_train_batch_size
2. 开启 flash attention 会快一点点