valkryhx
commented
1 year ago Cannot copy out of meta tensor; no data 这个是chatglm模型跑的时候报错吧 在from_pretrained 参数设置empty_init=False
Open zhr0313 opened 1 year ago
valkryhx
commented
1 year ago Cannot copy out of meta tensor; no data 这个是chatglm模型跑的时候报错吧 在from_pretrained 参数设置empty_init=False
您好，没成功发送您的邮箱，冒昧的在这问一下：我在https://github.com/shibing624/MedicalGPT/issues/46看到了您的回复，看到了您使用deepspeed stage3成功跑通了代码。我直接将deepspeed_config.json中的stage修改为3运行， 报下面这个错误： DeepSpeed Zero-3 is not compatible with low_cpu_mem_usage=True or with passing a device_map，然后看了您的回复，“注释device_map=auto ”，但在sft的代码中没有完全一样的这一句代码，我尝试注释了代码中各个device_map的内容，后续报错NotImplementedError: Cannot copy out of meta tensor; no data!。请问您有没有遇到过这个问题，以及您的注释具体是那块内容？万分感谢，期待您的回复！ 另外，我的是多机多卡的sh代码。python -m torch.distributed.launch --nproc_per_node 2 --nnodes=2 \ --node_rank=1 --master_addr="xxxxxxx" --master_port=1313 --use-env supervised_finetuning.py \