search

ssbuild / chatglm_finetuning

chatglm 6b finetuning and alpaca finetuning
1.54k stars 176 forks source link

deepspeed如何设置可以避免OOM #209

Open lianrzh opened 1 year ago

lianrzh commented 1 year ago

请问，deepspeed可以如何设置参数支持模型全量微调，机器只有4张32g的V100，deepspeed里面提到32g最多可以支持13B模型的训练？默认deepspeed的配置使用的是stage2吗？

Forever-Young-l commented 1 year ago

+1

lxw0109 commented 1 year ago

+1