有人配置过mmlu_pro数据集么？求分享代码~

open-compass / opencompass

OpenCompass is an LLM evaluation platform, supporting a wide range of models (Llama3, Mistral, InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude, etc) over 100+ datasets.

https://opencompass.org.cn/

Apache License 2.0

3.76k stars 403 forks source link

有人配置过mmlu_pro数据集么？求分享代码~ #1262

Open wll-design opened 3 months ago

wll-design commented 3 months ago

描述该功能

求配置mmlu_pro数据集的代码逻辑~

是否希望自己实现该功能？

[ ] 我希望自己来实现这一功能，并向 OpenCompass 贡献代码！

fangzhensheng commented 1 month ago

最新的代码好像支持了，但是运行起来报错，不知道有没有人试了

BlcDec commented 1 month ago

最新的代码好像支持了，但是运行起来报错，不知道有没有人试了

opencompass 整理过后的 mmlu_pro数据集哪里下载？

BrenchCC commented 3 weeks ago

最新的代码好像支持了，但是运行起来报错，不知道有没有人试了

opencompass 整理过后的 mmlu_pro数据集哪里下载？

TIGER-Lab/MMLU-Pro Huggingface下载的，opencompass的也是直接调用load_datasets下载huggingface数据集