Open day9011 opened 1 month ago
使用tp1的时候报错
--tp 2以上都没有问题
日志中显示 invalid infer request for id 2, code=6, code=6 表示 input_prompt_token + max_new_tokens 超过了 session_len 了
日志中显示 invalid infer request for id 2, code=6, code=6 表示 input_prompt_token + max_new_tokens 超过了 session_len 了
但是我使用--tp 2,完全一模一样的输入,就没有问题
日志中显示 invalid infer request for id 2, code=6, code=6 表示 input_prompt_token + max_new_tokens 超过了 session_len 了
这是--tp 1下的输出
因为 tp=2,2卡,内存 kv cache 用。 使用 log-level INFO,仔细看下引擎测的日志
--tp 1下的:
--tp 2下的:
Checklist
Describe the bug
InternVL2-Llama3-76B-AWQ使用--tp 4正常,但是单卡--tp 1返回的content为空 --tp 1: res_json: {'id': '2', 'object': 'chat.completion', 'created': 1721788658, 'model': 'internvl2-test', 'choices': [{'index': 0, 'message': {'role': 'assistant', 'content': '', 'tool_calls': None}, 'logprobs': None, 'finish_reason': 'stop'}], 'usage': {'prompt_tokens': 3497, 'total_tokens': -288276476, 'completion_tokens': -288279973}} --tp 4: res_json: {'id': '213', 'object': 'chat.completion', 'created': 1721735823, 'model': 'internvl2-test', 'choices': [{'index': 0, 'message': {'role': 'assistant', 'content': '
json\n{\n "water": true,\n "message": "The image shows a significant amount of water covering the road surface, indicating a flooding issue."\n}\n
', 'tool_calls': None}, 'logprobs': None, 'finish_reason': 'stop'}], 'usage': {'prompt_tokens': 2019, 'total_tokens': 2054, 'completion_tokens': 35}}Reproduction
lmdeploy serve api_server /storage210_new/models/huggingface/internvl/InternVL2-Llama3-76B-AWQ/ --tp 1 --cache-max-entry-cou nt 0.01 --model-name internvl2-test
Environment
Error traceback
No response