显存占用增长明显，该如何解决？

esas4 commented 4 months ago

是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this?

[X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions

该问题是否在FAQ中有解答？ | Is there an existing answer for this in FAQ?

[X] 我已经搜索过FAQ | I have searched FAQ

当前行为 | Current Behavior

使用api上传多份文件后问答了几次，最后一次执行命令bash scripts/run_for_7B_in_Linux_or_WSL.sh后，使用nvitop查看显卡使用情况，发现显存占用增长明显，该如何解决？

期望行为 | Expected Behavior

No response

运行环境 | Environment

- OS:Ubuntu 22.04
- NVIDIA Driver:535.183.01
- CUDA:11.8
- NVIDIA GPU:A6000
- NVIDIA GPU Memory:48G

QAnything日志 | QAnything logs

nvitop显示MEM占用97%

复现方法 | Steps To Reproduce

No response

备注 | Anything else?

No response

xixihahaliu commented 4 months ago

你是指最后一次重启服务后显存增长明显吗？可以定位下看看是否是别的进程占用的显存，重启后显存占用一般是固定的10GB左右，另外v2.0将在下周发布，可以尝试体验下，默认仅使用内存不再使用显存

esas4 commented 4 months ago

感谢回复！不是最后一次重启显存增长明显。实际上，我每次重启服务，占用的显存都与上次结束服务时一样多，这部分显存我无法使用torch.cuda.empty_cache()释放掉，并且随着问答次数的增多，显存占用一直在增多。我想可能是因为我没有把history设置为空，我目前正在寻找设置方法

---- 回复的原邮件 ---- | 发件人 | @.> | | 日期 | 2024年07月24日 17:50 | | 收件人 | @.> | | 抄送至 | @.>@.> | | 主题 | Re: [netease-youdao/QAnything] 显存占用增长明显，该如何解决？ (Issue #442) |

你是指最后一次重启服务后显存增长明显吗？可以定位下看看是否是别的进程占用的显存，重启后显存占用一般是固定的10GB左右，另外v2.0将在下周发布，可以尝试体验下，默认仅使用内存不再使用显存

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

netease-youdao / QAnything