srun -p ${PARTITION}是指什么，假设2个GPU的情况下应该如何设置PARTITION?

OpenGVLab / InternVL

[CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接近GPT-4o表现的开源多模态对话模型

https://internvl.readthedocs.io/en/latest/

MIT License

5.76k stars 452 forks source link

Closed 1SingleFeng closed 3 months ago

1SingleFeng commented 3 months ago

我没使用过srun，想请问一下运行脚本里的PARTITION='your partition'，这个应该怎么填，假设有2个GPU的机器上

Weiyun1025 commented 3 months ago

这个是slurm的参数，如果您没有用slurm起实验的话可以直接用torchrun或者accelerate或者deepspeed

YuanEric88 commented 1 week ago

这个是slurm的参数，如果您没有用slurm起实验的话可以直接用torchrun或者accelerate或者deepspeed

@Weiyun1025 可以提供一个直接基于torchrun的多机多卡训练启动脚本么？