Open hetian127 opened 1 month ago
版本：evalscope 0.5.3 sglang 0.3.0
在本地起了一个sglang的openai api server，命令如下： CUDA_VISIBLE_DEVICES=4,5,6,7 python -m sglang.launch_server --model-path /local/models/Qwen2-72B-Instruct --tp 4 --host 0.0.0.0 能够正常访问，用下面的语句进行benchmark测试： evalscope perf --url 'http://localhost:30000/v1/chat/completions' --parallel 128 --model '/local/models/Qwen2-72B-Instruct' --log-every-n-query 10 --read-timeout=120 --dataset-path './dataset/open_qa.jsonl' -n 50 --max-prompt-length 128000 --api openai --stream --stop '<|im_end|>' --dataset openqa --debug
server端有输出：
测试脚本到这个位置就不动了
同样的命令在测试vllm时可以正常输出结果，但是测试sglang时无法生成结果。 麻烦帮忙看看问题出在哪里，多谢
我们后面复现一下
Yunnglin
commented
1 month ago Yunnglin
commented
1 month ago
版本：evalscope 0.5.3 sglang 0.3.0
在本地起了一个sglang的openai api server，命令如下： CUDA_VISIBLE_DEVICES=4,5,6,7 python -m sglang.launch_server --model-path /local/models/Qwen2-72B-Instruct --tp 4 --host 0.0.0.0 能够正常访问，用下面的语句进行benchmark测试： evalscope perf --url 'http://localhost:30000/v1/chat/completions' --parallel 128 --model '/local/models/Qwen2-72B-Instruct' --log-every-n-query 10 --read-timeout=120 --dataset-path './dataset/open_qa.jsonl' -n 50 --max-prompt-length 128000 --api openai --stream --stop '<|im_end|>' --dataset openqa --debug
server端有输出：
测试脚本到这个位置就不动了
同样的命令在测试vllm时可以正常输出结果，但是测试sglang时无法生成结果。 麻烦帮忙看看问题出在哪里，多谢