Open gg22mm opened 1 year ago
在看文档时说训练sft模型时 需要将该 token 指定为< eom >,但是在哪里改呢?
训练 num_machines=4 num_processes=$((num_machines * 8)) machine_rank=0 accelerate launch --config_file ./configs/sft.yaml --num_processes $num_processes --num_machines $num_machines --machine_rank $machine_rank --deepspeed_multinode_launcher standard finetune_moss.py \ --model_name_or_path fnlp/moss-moon-003-sft-plugin \ --data_dir ./sft_data --output_dir ./ckpts/moss-moon-003-sft-plugin \ --log_dir ./train_logs/moss-moon-003-sft-plugin \ --n_epochs 2 \ --train_bsz_per_gpu 1 \ --eval_bsz_per_gpu 1 \ --learning_rate 0.000015 \ --eval_step 200 \ --save_step 2000"
我没搞错的话应该是finetune_moss.py的178行
tokenizer.eos_token_id = 106068 # The eos_token_id of base model is 106028. We need map the eos token to <eom> (its token id is 106068)
在看文档时说训练sft模型时 需要将该 token 指定为< eom >,但是在哪里改呢?![图片](https://github.com/OpenLMLab/MOSS/assets/6648329/7b0ec05c-cc79-457d-b443-f976c1a8bad3)
训练 num_machines=4 num_processes=$((num_machines * 8)) machine_rank=0
accelerate launch --config_file ./configs/sft.yaml --num_processes $num_processes --num_machines $num_machines --machine_rank $machine_rank --deepspeed_multinode_launcher standard finetune_moss.py \ --model_name_or_path fnlp/moss-moon-003-sft-plugin \ --data_dir ./sft_data --output_dir ./ckpts/moss-moon-003-sft-plugin \ --log_dir ./train_logs/moss-moon-003-sft-plugin \ --n_epochs 2 \ --train_bsz_per_gpu 1 \ --eval_bsz_per_gpu 1 \ --learning_rate 0.000015 \ --eval_step 200 \ --save_step 2000"