search

datawhalechina / self-llm

《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程
Apache License 2.0
6.08k stars 748 forks source link

使用阿里云部署glm-4-9b api报gpu内存不足 #169

Closed eagleLiu82 closed 1 week ago

eagleLiu82 commented 2 weeks ago

按步骤用的是GPU 24G,但是使用时提示GPU内存不足

YuanshuaiHuang commented 2 weeks ago

可以提供一些截图和阿里云设备信息，方便我们复现

eagleLiu82 commented 2 weeks ago

可以提供一些截图和阿里云设备信息，方便我们复现

2 1

eagleLiu82 commented 2 weeks ago

使用curl访问时报错

eagleLiu82 commented 2 weeks ago

这个问题也解决了，不能重复跑，要重新打开notebook， 应该是占用的资源没释放。

KMnO4-zx commented 1 week ago

嗯嗯 好的。问题解决了，那这个issue就关闭啦～