search

modelscope / eval-scope

A streamlined and customizable framework for efficient large model evaluation and performance benchmarking
Apache License 2.0
110 stars 14 forks source link

请教一下自定义模型和数据集评测如何实现 #25

Closed WSC741606 closed 3 months ago

WSC741606 commented 3 months ago

现有使用modelscope/Swift经过LoRA微调后merge得到的模型，现有单项选择题的csv数据集如“题目，A，B，C，D，正确答案”和对应的5shot格式问答对“instruction，input，output”，我想请教一下我应该怎么把他加入到llmuses/run.py的评测中呢？感谢大佬回复！

WSC741606 commented 3 months ago

另外，对于单卡能放下的模型，能否使其每张卡跑一个任务并行处理？现在是MP并行有点浪费

wangxingjun778 commented 3 months ago

现有使用modelscope/Swift经过LoRA微调后merge得到的模型，现有单项选择题的csv数据集如“题目，A，B，C，D，正确答案”和对应的5shot格式问答对“instruction，input，output”，我想请教一下我应该怎么把他加入到llmuses/run.py的评测中呢？感谢大佬回复！

Hi， 4月初的swift 2.0版本将会发布，届时用户可以使用swift 命令行（调用eval-scope）无缝发起评测任务；同时支持自定义数据集的评测。

wangxingjun778 commented 3 months ago

另外，对于单卡能放下的模型，能否使其每张卡跑一个任务并行处理？现在是MP并行有点浪费

当前版本暂不支持，4月初的版本，会加上这样的功能。

WSC741606 commented 3 months ago

现有使用modelscope/Swift经过LoRA微调后merge得到的模型，现有单项选择题的csv数据集如“题目，A，B，C，D，正确答案”和对应的5shot格式问答对“instruction，input，output”，我想请教一下我应该怎么把他加入到llmuses/run.py的评测中呢？感谢大佬回复！

Hi， 4月初的swift 2.0版本将会发布，届时用户可以使用swift 命令行（调用eval-scope）无缝发起评测任务；同时支持自定义数据集的评测。

感谢回复，期待尽快上线~