Open ymmbb8882ymmbb opened 1 year ago
一下是我的参数 LR=6e-6 DATE=0704 EPOCH=2 MAX_LEN=1024 MASTER_PORT=8888 deepspeed --num_gpus=8 --master_port $MASTER_PORT main.py \ --deepspeed deepspeed.json \ --do_train \ --do_eval \ --train_file car_train.json \ --validation_file car_dev.json \ --prompt_column conversations \ --overwrite_cache \ --model_name_or_path /data/project/th/chatglm2-6b \ --output_dir ./output/adgen-chatglm-6b-ft-$LR-$DATE-$MAX_LEN-epoch-$EPOCH \ --overwrite_output_dir \ --max_length $MAX_LEN \ --per_device_train_batch_size 8 \ --per_device_eval_batch_size 1 \ --gradient_accumulation_steps 2 \ --predict_with_generate \ --num_train_epochs $EPOCH \ --logging_steps 20 \ --max_steps 1000 \ --save_steps 500 \ --learning_rate $LR \ --do_eval False \ --fp16 True \ --save_total_limit 5 \
数据量太少了
多少数据能看出效果来呀
一下是我的参数 LR=6e-6 DATE=0704 EPOCH=2 MAX_LEN=1024 MASTER_PORT=8888 deepspeed --num_gpus=8 --master_port $MASTER_PORT main.py \ --deepspeed deepspeed.json \ --do_train \ --do_eval \ --train_file car_train.json \ --validation_file car_dev.json \ --prompt_column conversations \ --overwrite_cache \ --model_name_or_path /data/project/th/chatglm2-6b \ --output_dir ./output/adgen-chatglm-6b-ft-$LR-$DATE-$MAX_LEN-epoch-$EPOCH \ --overwrite_output_dir \ --max_length $MAX_LEN \ --per_device_train_batch_size 8 \ --per_device_eval_batch_size 1 \ --gradient_accumulation_steps 2 \ --predict_with_generate \ --num_train_epochs $EPOCH \ --logging_steps 20 \ --max_steps 1000 \ --save_steps 500 \ --learning_rate $LR \ --do_eval False \ --fp16 True \ --save_total_limit 5 \