Open fredericklee602 opened 1 year ago
目前,使用deepspeed
确实是有问题,主要是在模型加载的部分,不对。具体的代码在这里line_242
需要把
model = transformers.AutoModelForCausalLM.from_pretrained(
model_args.model_name_or_path,
cache_dir=training_args.cache_dir,
device_map='auto',
torch_dtype=torch.bfloat16
)
里面的device_map='auto',
这行给删掉,再试一试
pip install deepspeed 再直接sh ds_all.sh 但出现以下错误,想知道发生了什么?