Open grantchenhuarong opened 1 year ago
环境是4090,python3.10.11,所有依赖按照requirements.txt安装, cuda11.7, nvidia 12.1
请教一下如何才能正常启动deepspeed呀?
ds_report coredump
dmesg信息查看 https://github.com/microsoft/DeepSpeed/issues/2632
唉, 4090容不下,内存也装载不了,OS这时候干预了。。。
你这个看起来是爆内存了,你跑的多大的模型?不过对于训练lora来说deepspeed省的显存并不明显 4090跑这个脚本13B应该是可以放下的,不过batch size得设置小一点
环境是4090,python3.10.11,所有依赖按照requirements.txt安装, cuda11.7, nvidia 12.1
请教一下如何才能正常启动deepspeed呀?