baichuan-13b-chat sft微调loss不下降

[xiaohuihwh]

用LLaMA-Efficient-Tuning微调1和2，loss均不下降

[xiaohuihwh]

在2块4090用deepspeed微调baichuan1和baichuan2开始loss为1.9，几十个step之后就在1.5附近不再下降。 参数如下。 deepspeed --num_gpus 2 --master_port=9901 src/train_bash.py --deepspeed ds_config_stage3.json --stage sft --model_name_or_path /root/autodl-tmp/baichuan-13b-chat/ --do_train --dataset alpaca_gpt4_zh --template baichuan2 --finetuning_type lora --lora_target W_pack --output_dir src/output/sft-0921 --overwrite_cache --per_device_train_batch_size 4 --gradient_accumulation_steps 4 --lr_scheduler_type cosine --logging_steps 10 --save_steps 500 --learning_rate 5e-5 --num_train_epochs 3.0 --plot_loss --bf16 deepspeed配置文件如下。