search

modelscope / eval-scope

A streamlined and customizable framework for efficient large model evaluation and performance benchmarking
Apache License 2.0
110 stars 14 forks source link

feat: update data/model/general_qa adapter & add eval&infer engine. #40

Closed Chen9154 closed 2 months ago

Chen9154 commented 2 months ago
  1. 支持多数据集评测，仅加载一次模型，同时解决了一次跑多个评测会OOM的问题
  2. 支持推理和评测解耦，独立维护推理模块，避免有些模型不支持加载的情况
  3. 支持自定义user prompt，新版完整prompt由4个字段组合而成：system_prompt、human_prefix、assistant_prefix、seperator（后续会修改和release/0.3版本对齐）