Open zhl970124 opened 4 months ago
可以在训练启动的时候通过CUDA_VISIBLE_DEVICES
参数指定,可以指定单卡或多卡,如:
CUDA_VISIBLE_DEVICES=5,6,7 python train.py
可以在训练启动的时候通过
CUDA_VISIBLE_DEVICES
参数指定,可以指定单卡或多卡,如:
CUDA_VISIBLE_DEVICES=5,6,7 python train.py
单卡可以用上面的方式。
但多卡训练,上面方式能启动,但好像没有真正的多卡并行,因为想优化配置参数,但显存占用及需要的训练耗时没有变化。
改用deepspeed
,相同的训练数据量,优化配置参数,耗时从需要182h下降到48h。
deepspeed --include=localhost:5,6,7 train.py
device_map={“”:0}
可以在训练启动的时候通过
CUDA_VISIBLE_DEVICES
参数指定,可以指定单卡或多卡,如:CUDA_VISIBLE_DEVICES=5,6,7 python train.py
单卡可以用上面的方式。
但多卡训练,上面方式能启动,但好像没有真正的多卡并行,因为想优化配置参数,但显存占用及需要的训练耗时没有变化。
改用
deepspeed
,相同的训练数据量,优化配置参数,耗时从需要182h下降到48h。deepspeed --include=localhost:5,6,7 train.py
学到了 这就回去试试deepseed
加载模型
这里的 device_map="auto", 会调用多卡训练,请问如何指定固定的显卡训练。 尝试过device_map={'': int(os.environ.get('LOCAL_RANK', '1'))} 以及 device_map = "cuda:1" 都不行,报错信息: 【RuntimeError: CUDA error: invalid device ordinal】 有没有大佬能帮忙解答下~ 感谢