Open lianrzh opened 1 year ago
请问,deepspeed可以如何设置参数支持模型全量微调,机器只有4张32g的V100,deepspeed里面提到32g最多可以支持13B模型的训练?默认deepspeed的配置使用的是stage2吗?
+1
请问,deepspeed可以如何设置参数支持模型全量微调,机器只有4张32g的V100,deepspeed里面提到32g最多可以支持13B模型的训练?默认deepspeed的配置使用的是stage2吗?