search

modelscope / eval-scope

A streamlined and customizable framework for efficient large model evaluation and performance benchmarking
Apache License 2.0
110 stars 14 forks source link

微调模型评测&自建评测数据集 #48

Open HaltonJiang opened 1 month ago

HaltonJiang commented 1 month ago

1、请问针对lora微调之后但没有合并的大模型，如何加载checkpoint进行评测呢？ 2、支持自定义评测数据集进行评测吗？如何操作呢？或对格式有什么要求吗？