search

BUAADreamer / EasyRAG

Easy-to-Use RAG Framework; CCF AIOps International Challenge 2024 Top3 Solution; CCF AIOps 国际挑战赛 2024 季军方案
https://arxiv.org/abs/2410.10315
MIT License
182 stars 23 forks source link

关于数据集答案 #1

Closed yunfan42 closed 1 month ago

yunfan42 commented 1 month ago

请问现在AIOPS数据集开源答案了吗？ 能否支持一些方法的评测

BUAADreamer commented 1 month ago

可以参考这里：https://www.modelscope.cn/datasets/issaccv/aiops24-finals

里面的debug.jsonl也就是本项目main.py中的val集 https://github.com/BUAADreamer/EasyRAG/blob/master/src/data/val.json

我们对val集进行了人工标注从而可以评估关键词准确度

其他的集合暂未公布，可以关注官网

BUAADreamer commented 1 month ago

main中把split设置为val即可跑val集测试，可供参考

image