SpongebBob / Finetune-ChatGLM2-6B

ChatGLM2-6B 全参数微调,支持多轮对话的高效微调。
Apache License 2.0
395 stars 40 forks source link

我只有200多条多轮对话的数据,去做全参微调能有效果吗? #19

Open ymmbb8882ymmbb opened 1 year ago

ymmbb8882ymmbb commented 1 year ago

一下是我的参数 LR=6e-6 DATE=0704 EPOCH=2 MAX_LEN=1024 MASTER_PORT=8888 deepspeed --num_gpus=8 --master_port $MASTER_PORT main.py \ --deepspeed deepspeed.json \ --do_train \ --do_eval \ --train_file car_train.json \ --validation_file car_dev.json \ --prompt_column conversations \ --overwrite_cache \ --model_name_or_path /data/project/th/chatglm2-6b \ --output_dir ./output/adgen-chatglm-6b-ft-$LR-$DATE-$MAX_LEN-epoch-$EPOCH \ --overwrite_output_dir \ --max_length $MAX_LEN \ --per_device_train_batch_size 8 \ --per_device_eval_batch_size 1 \ --gradient_accumulation_steps 2 \ --predict_with_generate \ --num_train_epochs $EPOCH \ --logging_steps 20 \ --max_steps 1000 \ --save_steps 500 \ --learning_rate $LR \ --do_eval False \ --fp16 True \ --save_total_limit 5 \

SpongebBob commented 1 year ago

数据量太少了

ymmbb8882ymmbb commented 1 year ago

数据量太少了

多少数据能看出效果来呀