如何支持多显卡

[ChinaGPT]

你好配置文件支持多显卡么？如何设置谢谢~~

[cjld]

如果您是单卡显存不够，您可以通过环境变量，限制最大内存消耗：https://github.com/Jittor/JittorLLMs#%E9%85%8D%E7%BD%AE%E8%A6%81%E6%B1%82%E4%BD%8E

如果您是想用不同的卡，设置环境变量device_id=x, x是您指定的显卡id

[ChinaGPT]

我们是想对接公司内部客服系统，所以想试试多显卡接线能力，设置device_id=0,1,2,3是不是就支持4显卡了？

[cjld]

device_id=0 api.py chatglm
device_id=1 api.py chatglm
device_id=2 api.py chatglm
device_id=3 api.py chatglm

您可能需要启动4个进程，然后每个进程使用不同的端口

[cjld]

修改端口代码在这里：https://github.com/Jittor/JittorLLMs/blob/main/api.py#L48 您可能需要改一下代码

[ChinaGPT]

能不能在一个api自动开多线程并加入自动调用空闲gpu的能力

[ChinaGPT]

谢谢

[cjld]

您可以自行开发这个功能，理论上几行代码就可以了，在api里面，启动一个multiprocess pool即可

[2catycm]

device_id=0 api.py chatglm
device_id=1 api.py chatglm
device_id=2 api.py chatglm
device_id=3 api.py chatglm

您可能需要启动4个进程，然后每个进程使用不同的端口

这是启动了四个对话模型吧，如何让一个对话模型同时使用四张卡呢

[tonylin52]

请问支持模型deepspeed大模型分割到不同显卡吗？