modelscope / evalscope

A streamlined and customizable framework for efficient large model evaluation and performance benchmarking
https://evalscope.readthedocs.io/en/latest/
Apache License 2.0
265 stars 33 forks source link

测试的结果数据统计好像有问题,为什么 首token 平均时间和每个包平均时延 平均时延 是一样? #168

Closed Devliang24 closed 2 weeks ago

Devliang24 commented 3 weeks ago

问题描述 / Issue Description

请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.

使用的工具 / Tools Used

执行的代码或指令 / Code or Commands Executed

请提供您执行的主要代码或指令。 / Please provide the main code or commands you executed. 例如 / For example:

evalscope perf --url 'http://xxxxxxx/v1/chat/completions' --parallel 10 --model 'Qwen2.5-72B-Instruct' --log-every-n-query 10 --read-timeout=120 -n 10 --max-prompt-length 128000 --api openai --query-template '{"model": "%m", "messages": []}' --dataset-path '/home/user/datasets/open_qa.jsonl'

错误日志 / Error Log

请粘贴完整的错误日志或控制台输出。 / Please paste the full error log or console output. 例如 / For example:

image

运行环境 / Runtime Environment

其他信息 / Additional Information

工具版本 image

如果有其他相关信息,请在此处提供。 / If there is any other relevant information, please provide it here.

Yunnglin commented 3 weeks ago

参考 https://github.com/modelscope/evalscope/issues/141