modelscope / evalscope

A streamlined and customizable framework for efficient large model evaluation and performance benchmarking
https://evalscope.readthedocs.io/en/latest/
Apache License 2.0
263 stars 33 forks source link

这些wandb指标数据可以获取到么 #179

Closed ouyongqi closed 2 weeks ago

ouyongqi commented 2 weeks ago

问题描述 / Issue Description

image 这些图里面的指标数据可以获取到么。 image 跑完之后都是平均指标数据,没有图上的指标数据。

执行的代码或指令 / Code or Commands Executed

evalscope perf --url 'https://api.openai.com/v1/chat/completions' --parallel 4 --model 'qwen' --log-every-n-query 10 --read-timeout=120 -n 100 --max-prompt-length 128000 --api openai --query-template '{"model": "%m", "messages": [{"role": "user","content": "%p"}], "stream": false,"skip_special_tokens": false,"stop": ["<|im_end|>"]}' --dataset openqa --dataset-path '/workspace/data/eval.jsonl'

Yunnglin commented 2 weeks ago

请在启动时指定参数--wandb-api-key 'your_wandb_api_key' --name 'name_of_wandb_and_result_db'来使用wandb

ouyongqi commented 2 weeks ago

请在启动时指定参数--wandb-api-key 'your_wandb_api_key' --name 'name_of_wandb_and_result_db'来使用wandb

好像启动命令添加这两个参数要打通连接wandb的网络,而且这个是不是只能在wandb平台上才能看到数据。我可以不打通wandb网络,直接获取到这些图表数据么

Yunnglin commented 2 weeks ago

好像不行,除非自己私有化部署wandb

ouyongqi commented 2 weeks ago

好像不行,除非自己私有化部署wandb

好吧