有多卡版本么 - Githubissues

yongzhuo / ChatGLM2-SFT

ChatGLM2-6B微调, SFT/LoRA, instruction finetune

Apache License 2.0

106 stars 11 forks source link

Open jby20180901 opened 1 year ago

yongzhuo commented 1 year ago

用deepspeed+transformers.trainer，你只需要改改dataset，控制某某gpu下的输出，以及global_rank，global_rank就好