Open Morris135212 opened 1 year ago
训练脚本参数如下
CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \ --stage sft \ --model_name_or_path $model_path \ --do_train \ --dataset $dataset \ --template chatml \ --finetuning_type lora \ --overwrite_cache \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 4 \ --max_source_length $max_source_length \ --lr_scheduler_type cosine \ --logging_steps 100 \ --save_steps 1000 \ --learning_rate 5e-5 \ --num_train_epochs 3.0 \ --plot_loss \ --lora_target c_attn \ --fp16 \ --output_dir $output_dir \ --save_total_limit 1 \ --logging_steps 100 \ --save_steps 500 \ --report_to "tensorboard"
出现如下问题
训练脚本参数如下
CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \ --stage sft \ --model_name_or_path $model_path \ --do_train \ --dataset $dataset \ --template chatml \ --finetuning_type lora \ --overwrite_cache \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 4 \ --max_source_length $max_source_length \ --lr_scheduler_type cosine \ --logging_steps 100 \ --save_steps 1000 \ --learning_rate 5e-5 \ --num_train_epochs 3.0 \ --plot_loss \ --lora_target c_attn \ --fp16 \ --output_dir $output_dir \ --save_total_limit 1 \ --logging_steps 100 \ --save_steps 500 \ --report_to "tensorboard"
出现如下问题