openai api部署glm-4-9b-chat如何设置多gpu - Githubissues

THUDM / GLM-4

GLM-4 series: Open Multilingual Multimodal Chat LMs | 开源多语言多模态对话模型

Apache License 2.0

4.6k stars 363 forks source link

openai api部署glm-4-9b-chat如何设置多gpu #536

Open desertfoxfj opened 1 week ago

desertfoxfj commented 1 week ago

System Info / 系統信息

ubuntu18.04

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

[ ] The official example scripts / 官方的示例脚本
[ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

我是两张 3060（一张 12G 显存）通过 openai_api 代码部署 glm-4-9b-chat，一直报显存不足，也没有招待代码中设置多 GPU 的地方 glm-4/basic_demo/openai_api_server.py

Expected behavior / 期待表现

这种场景应该如何配置多GPU

zhipuch commented 1 week ago

https://zhipu-ai.feishu.cn/wiki/VpncwoWn4i2ZsDkWSqYcbtwSnWd