Closed cuczhangyi closed 1 month ago
你可以试试把使用的config文件里的deepspeed中offload_optimizer
注释掉即可,DeepSpeed中CPU Offload的optimizer需要torch版本的cuda和当前机器所安装的cuda版本完全匹配
https://github.com/Coobiw/MPP-LLaVA/blob/master/lavis/projects/pp_qwen14b/sft_100k_pp.yaml#L111
如果修改后没问题的话,麻烦和我说一声~我修改下issue标题并pin一下这个issue方便参考
修改之后就会出现oom ,最后还是换了cuda版本,暂时可以训练了,后续看下效果,谢谢,感恩
OK, solved. I'll close this issue.
您好,在使用qwen7b sft video 训练过程中,一切OK, 在切换为 qwen14b之后,按照MPPQwen14B_README.md 中进行sft训练的时候,出现了的deepspeed 版本于cuda不匹配的问题,是那里出现了问题么?
训练命令 python -m torch.distributed.run --nproc_per_node=6 train_pipeline.py --cfg-path lavis/projects/pp_qwen14b/sft_100k_pp.yaml --num-stages 6
报错信息: