Open sunpenglv opened 1 year ago
你好,我在使用deepspeed跑全量微调的时候,刚好内存够用,但是期间有其他用户使用GPU后,deepspeed会因为显存不够而终止运行导致训练失败。如何能在检测到显存不够时将模型保存下来再退出,以便后续继续训练?
你好,我在使用deepspeed跑全量微调的时候,刚好内存够用,但是期间有其他用户使用GPU后,deepspeed会因为显存不够而终止运行导致训练失败。如何能在检测到显存不够时将模型保存下来再退出,以便后续继续训练?