search

tencentmusic / supersonic

SuperSonic is the next-generation BI+AI platform that combines Chat BI (powered by LLM) and Headless BI (powered by semantic layer) paradigms.
Other
2.13k stars 363 forks source link

[Enhancement] 大模型自然语言转SQL 准确率问题的提升，目前产品准确率无法真正落地到生产环境中，只能作为辅助工具适用 #1447

Open chuyangkongling opened 2 months ago

chuyangkongling commented 2 months ago

Search before asking

Description

test case： supersonic

Solution

No response

Are you willing to submit PR?

Code of Conduct

chsumu commented 2 months ago

实测参照s2-exemplar.json提前录入一些相关sql 到向量库，会大幅度提升准确率

chuyangkongling commented 2 months ago

按照您们的建议 我这边修改了 准确率大大提升了 能到 90% 以上了 但又会引发新的问题，s2-examplar.json 这个文件下 是不是就得写好多好多参照SQL 呢 特别是针对日期类型的术语 比如 近一年挂号人次 2019年挂号人次 近一年科室挂号人次排行 2019年科室挂号人次排行 这种相近的 如何去灵活维护能让大模型准确的去识别 test case:

supersonic

jerryjzhang commented 2 months ago

用的是哪个LLM，我们用gpt3.5实测这些时间范围没出现过问题

jerryjzhang commented 2 months ago

另外，是不是先不开启多轮试一试效果先

15074852943 commented 5 days ago

s2-exemplar.json 这个是否可以上个维护页面呢？