pingcap / autoflow

pingcap/autoflow is a Graph RAG based and conversational knowledge base tool built with TiDB Serverless Vector Storage. Demo: https://tidb.ai
https://tidb.ai
Apache License 2.0
1.68k stars 86 forks source link

evaluation: evaluate answer quality by scoring #376

Open sykp241095 opened 2 weeks ago

sykp241095 commented 2 weeks ago

讲问题分类标准如下:

  1. 📘 Level-1 基础知识: 查询 TiDB 的简单事实或常识,如配置参数、组件设计等。
  2. 🛠️ Level-2 操作指南:想执行某项操作但不知如何下手,寻求操作手册。
  3. ⚠️ Level-3 问题排查:遇到错误消息或意外结果,想找到原因并解决问题。
  4. 🗂️ Level-4 复杂任务计划: 设定一个需要多步骤的复杂目标,寻求完整的计划或指导。
  5. 💬 Level-5 其他话题:提出与 TiDB 或数据库无关的问题,或想讨论一般性话题。

We need to: