search

hkust-nlp / ceval

Official github repo for C-Eval, a Chinese evaluation suite for foundation models [NeurIPS 2023]
https://cevalbenchmark.com/
MIT License
1.6k stars 74 forks source link

请问hf格式的llama模型有公开的测试代码吗 #25

Open WUHU-G opened 1 year ago

jxhe commented 1 year ago

目前我们在将ceval集成到 lm-evaluation-harness 中，敬请期待。

ylwangy commented 1 year ago

目前我们在将ceval集成到 lm-evaluation-harness 中，敬请期待。

请问预计什么时候呢？谢谢！

jxhe commented 1 year ago

我们已经在lm-evaluation-harness中发起了PR，正在等待merge: https://github.com/EleutherAI/lm-evaluation-harness/pull/664

HYZ17 commented 1 year ago

目前我们在将ceval集成到 lm-evaluation-harness 中，敬请期待。

请问预计什么时候呢？谢谢！

已经完成merge！参考：https://github.com/EleutherAI/lm-evaluation-harness/blob/master/docs/task_table.md