search

WisdomShell / codeshell

A series of code large language models developed by PKU-KCL
http://se.pku.edu.cn/kcl
Other
1.61k stars 119 forks source link

感谢作者的付出🙏，麻烦问一下，是否有方法可以实现一机多卡？我需要修改什么部分 #55

Open whyPeanutbutter opened 9 months ago

whyPeanutbutter commented 9 months ago

我一台机器上有两个GPU，在跑作者给出的例子时，发现只有一个GPU跑满，另一个利用率为0，增大token后，会超出memory，但是第二张卡依然没有使用。 尝试了网上多种多GPU的写法（比如torch.nn.DataParallel、设置'CUDA_VISIBLE_DEVICES'、或者设置torch.distributed.init_process_group(backend='nccl')等等）也没能使用到第二张卡，所以请问下我需要修改什么部分使得其可以使用多张卡进行推理？ 麻烦给个大致方向也行或者修改什么文件，我现在完全没有思路，万分感谢指导🙏🙏