Open Devliang24 opened 3 weeks ago
请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.
请提供您执行的主要代码或指令。 / Please provide the main code or commands you executed. 例如 / For example:
evalscope perf --url 'http://xxxxx/v1/chat/completions' --parallel 3 --headers 'Authorization=Bearer sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx' --model 'Qwen2.5-72B-Instruct' --log-every-n-query 10 --read-timeout=120 -n 3 --max-prompt-length 128000 --api openai --query-template '{"model": "%m", "messages": []}' --dataset-path 'D:\api_demo\eval\datasets\1k\ddd.jsonl'
请粘贴完整的错误日志或控制台输出。 / Please paste the full error log or console output. 例如 / For example:
操作系统 / Operating System:
Python版本 / Python Version:
如果有其他相关信息,请在此处提供。 / If there is any other relevant information, please provide it here.
目前请尝试拉取feat/perf分支代码并安装使用
feat/perf
git clone https://github.com/modelscope/evalscope.git cd evalscope git fetch origin feat/perf git checkout feat/perf pip install -e .
此外,现在支持了--api-key参数,无需在headers部分输入
--api-key
问题描述 / Issue Description
请简要描述您遇到的问题。 / Please briefly describe the issue you encountered.
使用的工具 / Tools Used
执行的代码或指令 / Code or Commands Executed
请提供您执行的主要代码或指令。 / Please provide the main code or commands you executed. 例如 / For example:
evalscope perf --url 'http://xxxxx/v1/chat/completions' --parallel 3 --headers 'Authorization=Bearer sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx' --model 'Qwen2.5-72B-Instruct' --log-every-n-query 10 --read-timeout=120 -n 3 --max-prompt-length 128000 --api openai --query-template '{"model": "%m", "messages": []}' --dataset-path 'D:\api_demo\eval\datasets\1k\ddd.jsonl'
错误日志 / Error Log
请粘贴完整的错误日志或控制台输出。 / Please paste the full error log or console output. 例如 / For example:
运行环境 / Runtime Environment
操作系统 / Operating System:
Python版本 / Python Version:
其他信息 / Additional Information
如果有其他相关信息,请在此处提供。 / If there is any other relevant information, please provide it here.