Closed jingmouren closed 4 years ago
照着readme用的 CUDA_VISIBLE_DEVICES=1,2 python -m torch.distributed.launch --nnode=1 --node_rank=0 --nproc_per_node=4 \ --master_addr=127.0.0.1 --master_port=5555 \ train.py -c config.json --local_world_size 2 报标题错误 是config里也要作对应改动吗?如何改。谢谢
@jingmouren 运行命令中--nproc_per_node=4改为--nproc_per_node=2
--nproc_per_node=4
--nproc_per_node=2
改了能运行了。 就是说nproc_per_node和nproc_per_node要一样?
@jingmouren 推荐用法是nproc_per_node和local_world_size设置和CUDA_VISIBLE_DEVICES的数量一致
nproc_per_node
local_world_size
CUDA_VISIBLE_DEVICES
照着readme用的 CUDA_VISIBLE_DEVICES=1,2 python -m torch.distributed.launch --nnode=1 --node_rank=0 --nproc_per_node=4 \ --master_addr=127.0.0.1 --master_port=5555 \ train.py -c config.json --local_world_size 2 报标题错误 是config里也要作对应改动吗?如何改。谢谢