【XVERSE-7B-chat WebDemo 部署】报错 torch.cuda.OutOfMemoryError: CUDA out of memory.

datawhalechina / self-llm

《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程

Apache License 2.0

6.14k stars 753 forks source link

Open hgsw opened 1 month ago

hgsw commented 1 month ago

你好，我在 XVERSE-7B-chat WebDemo 部署的模块中运行chatBot.py文件连续体验十几轮问答后，就开始报存显存溢出了，我不知这是为什么，chatBot.py代码里我没有明显看到和显存相关的设置。报错信息如下：

此外我发现随着是问答轮数的增加，显存也是在逐渐增加的，chatBot.py文件刚运行时候大概子啊14.6G左右，报错时的显存占用大概在18G，截图如下：

KMnO4-zx commented 1 month ago

可能是超出对话长度了

hgsw commented 1 month ago

也就是说不是累积造成的？而是某一轮的对话，文本太长导致的吗