AttributeError: 'ChatGLMForConditionalGeneration' object has no attribute 'save_checkpoint'

[Solenyalyl]

System Info / 系統信息

微调报错： 在直接使用finetune_hf.py与 lora.yaml进行微调没有问题，在lora.yaml中将注释掉的ds_zero_2.json使用上，则出现报错 AttributeError: 'ChatGLMForConditionalGeneration' object has no attribute 'save_checkpoint'

Who can help? / 谁可以帮助到您？

@Btlmd

Information / 问题信息

• [ ] The official example scripts / 官方的示例脚本
• [ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

CUDA_VISIBLE_DEVICES=0 NCCL_P2P_DISABLE="1" NCCL_IB_DISABLE="1" python ./finetune_demo/finetune_hf.py /chatglm3-6b/data/ ./chatglm3-6b ./finetune_demo/configs/lora.yaml

Expected behavior / 期待表现

在使用上ds_zero_2.json之后，可以进行微调

[Dagoli]

请问问题解决了吗？

[Dagoli]

试了下用多卡的命令改成单卡就可以了，调用的deepspeedEngine.save_checkpoint