支持通过huggingface + lora加载llama系列模型

hkust-nlp / ceval

Official github repo for C-Eval, a Chinese evaluation suite for foundation models [NeurIPS 2023]

https://cevalbenchmark.com/

MIT License

1.6k stars 74 forks source link

Closed Ricardokevins closed 10 months ago

Ricardokevins commented 1 year ago

你好现有的基于llama的架构测试使用的是meta官方的仓库代码，请问会支持huggingface加载模型的测试方法吗，特别是加载huggingface+lora的结果，对于测试和对比指令微调过后系列的模型能力会方便一些

jxhe commented 1 year ago

我们正在将ceval集成到 lm-evaluation-harness 中，届时应该可以参考lm-evaluation-harness来测试hf中的模型，敬请期待

jxhe commented 10 months ago