Closed DreamMr closed 5 months ago
irexyc
commented
6 months ago 不是你这个logger里面的warning引起的。max_new_tokens 不传的话，默认是尽可能的大，不过这个逻辑跟引擎那边的逻辑差了1，所以有这个warning。
我这边可以复现你的问题，发现卡在了这里 https://github.com/InternLM/lmdeploy/blob/cd2d880abfc3bb4225574cce8efa4e89be0b95d8/lmdeploy/serve/vl_async_engine.py#L55
不确定是不是因为多卡的时候，初始化的时候vision模型放到了最后一张卡，但是推理的时候，当前的device是第一张卡的缘故。用 with torch.device() 这个context包一下，试了几遍没有再卡住了。
lvhan028
commented
6 months ago @zhulinJulia24 请加入测试用例
wanzhenchn
commented
6 months ago 不是你这个logger里面的warning引起的。max_new_tokens 不传的话，默认是尽可能的大，不过这个逻辑跟引擎那边的逻辑差了1，所以有这个warning。
我这边可以复现你的问题，发现卡在了这里
不确定是不是因为多卡的时候，初始化的时候vision模型放到了最后一张卡，但是推理的时候，当前的device是第一张卡的缘故。用 with torch.device() 这个context包一下，试了几遍没有再卡住了。
楼主这个情况我也遇到了，当调用很多次时候，会出现服务卡住的情况，如下图：
提个MR 修复一下吧 @irexyc
irexyc
commented
6 months ago @wanzhenchn @DreamMr
PR 1336 修了一下，但是有反馈还是不行，你这边方便测试一下么？
deeplearningshare
commented
6 months ago 不要pip install安装，使用https://github.com/InternLM/lmdeploy/releases/tag/v0.2.6下的whl安装，它是cuda12编译，pypi是cuda11.8编译
wanzhenchn
commented
5 months ago @wanzhenchn @DreamMr
PR 1336 修了一下，但是有反馈还是不行，你这边方便测试一下么？
刚才跑了一下0.3.0 版本，在 tp=2时候，还是会出现 卡住 现象。（从源码编译安装的 lmdeploy） @irexyc
irexyc
commented
5 months ago @wanzhenchn
请确认一下lmdeploy 和 pytorch 用的是相同的cuda大版本。
pytorch:
import torch
print(torch.vision.cuda)lmdeploy:
# 找到安装目录
python -c "import lmdeploy; print(lmdeploy)"
# ldd
ldd xxx/lib/_turbomind.cpython-xx-x86_64-linux-gnu.soclosing it since no more activities in two weeks. Feel free to reopen it if it is still an issue
Checklist
Describe the bug
您好，我在8*A800的机器上部署LLaVA的推理服务，并发数量为2，运行一段时间后，某张卡的利用率变成0，其他卡的利用率变成100%，显存也没释放掉，client也获取不到response，程序一直卡住。
我打印logger，提示我total sequence length 超过预设的最大长度（32000），但是我每次请求都是同一个样本（同样的图片和同样的文本），不清楚是否是该问题引起的。
Reproduction
Server
chat_template_vicuna.json:👇
Client
Environment
Error traceback
No response