Open wwwyfff opened 1 month ago
日志中显示 “CUDA runtime error: out of memory” 麻烦执行命令 "lmdeploy check_env",把环境信息贴上来吧
日志中显示 “CUDA runtime error: out of memory” 麻烦执行命令 "lmdeploy check_env",把环境信息贴上来吧
您好!这是我的环境信息。麻烦您了。 sys.platform: linux Python: 3.9.19 (main, May 6 2024, 19:43:03) [GCC 11.2.0] CUDA available: True MUSA available: False numpy_random_seed: 2147483648 GPU 0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15: NVIDIA L4 CUDA_HOME: None GCC: gcc (Ubuntu 13.2.0-4ubuntu3) 13.2.0 PyTorch: 2.2.2+cu121 PyTorch compiling details: PyTorch built with:
TorchVision: 0.17.2+cu121 LMDeploy: 0.5.0+ transformers: 4.42.3 gradio: Not Found fastapi: 0.111.0 pydantic: 2.8.2 triton: 2.2.0
查了下L4的信息,内存是 24G 的 推理引擎的default配置不太合适。还请提供如下信息,方便我们给一个合适的配置。
查了下L4的信息,内存是 24G 的 推理引擎的default配置不太合适。还请提供如下信息,方便我们给一个合适的配置。
- 上下文的长度是多少
- server需要支持多少并发
单机16卡 上下文长度128k 并发1
谢谢
你用的server的启动命令是怎样的呢?
你用的server的启动命令是怎样的呢?
CUDA_VISIBLE_DEVICES=6,9 lmdeploy serve api_server ./workspace --server-port 35010 --tp 2
CUDA_VISIBLE_DEVICES=6,9 lmdeploy serve api_server internlm2_5-7b-chat-1m-4bit/ --server-port 35010 --tp 2 --model-format awq
应该是第一个,后面准备试一下量化的版本
📚 The doc issue
Code部分:
如果我的prompt是比较简单的问题。比如“介绍一下自己”,返回结果就不为空,但如果prompt较为复杂,返回结果就是空值。如下图:![image](https://github.com/InternLM/lmdeploy/assets/120365110/ff3bd489-542c-4a03-a496-36c4622c3ceb)
Suggest a potential alternative/fix
No response