search

openmedlab / PULSE

PULSE: Pretrained and Unified Language Service Engine
Apache License 2.0
467 stars 15 forks source link

Elo评测测试数据是否可以公开？ #2

Open FutureForMe opened 1 year ago

FutureForMe commented 1 year ago

作者，你好，想问一下用于评测不同医疗大模型的抽取的测试用例是否可以公开？

genggui001 commented 1 year ago

已公开 参见 https://github.com/openmedlab/PULSE/tree/main/eval/data

loxs123 commented 1 year ago

作者您好，在eval/elo/0elo.py代码提到了两个文件夹：

elo_data_path = "eval/elo/elo_data/"
elo_outputs_path = "eval/elo/gpt4_elo_outputs/"

可以提供这两个目录下面的jsonl文件吗？要不然评测部分代码(eval/elo/0elo.py)没办法运行。

ZM-ZW commented 1 year ago

可以说明一下，下面这两个文件的内容格式吗 elo_data_path = "eval/elo/elo_data/" elo_outputs_path = "eval/elo/gpt4_elo_outputs/"

zhangxiaofan101 commented 11 months ago

更多elo评测数据集已公开于 https://github.com/openmedlab/PULSE-EVAL