Open ChinaGPT opened 1 year ago
如果您是单卡显存不够,您可以通过环境变量,限制最大内存消耗:https://github.com/Jittor/JittorLLMs#%E9%85%8D%E7%BD%AE%E8%A6%81%E6%B1%82%E4%BD%8E
如果您是想用不同的卡,设置环境变量device_id=x
, x是您指定的显卡id
我们是想对接公司内部客服系统,所以想试试多显卡接线能力,设置device_id=0,1,2,3是不是就支持4显卡了?
device_id=0 api.py chatglm
device_id=1 api.py chatglm
device_id=2 api.py chatglm
device_id=3 api.py chatglm
您可能需要启动4个进程,然后每个进程使用不同的端口
修改端口代码在这里:https://github.com/Jittor/JittorLLMs/blob/main/api.py#L48 您可能需要改一下代码
能不能在一个api自动开多线程并加入自动调用空闲gpu的能力
谢谢
您可以自行开发这个功能,理论上几行代码就可以了,在api里面,启动一个multiprocess pool即可
device_id=0 api.py chatglm device_id=1 api.py chatglm device_id=2 api.py chatglm device_id=3 api.py chatglm
您可能需要启动4个进程,然后每个进程使用不同的端口
这是启动了四个对话模型吧,如何让一个对话模型同时使用四张卡呢
请问支持模型deepspeed大模型分割到不同显卡吗?
你好配置文件支持多显卡么?如何设置谢谢~~