search

dusens / llama-3-8B-Instruct-text2sql

12 stars 1 forks source link

基于llama-3-sqlcoder-8b微调的模型 #2

Closed lch710097 closed 2 months ago

lch710097 commented 3 months ago

你好，基于llama-3-sqlcoder-8b底座微调的模型在弄吗，大概什么时候能出来？

dusens commented 3 months ago

我觉得价值不是很大,其实已经弄出来了,质变还是需要大的模型小参数效果真是不是很好

lch710097 commented 3 months ago

有相关训练步骤的说明吗，本地测试llama-3-sqlcoder-8b单表查询准确率还是很高的。

dusens commented 3 months ago

1、我觉得对于中的不大行,所以你需要先用中文的一些样本进行微调 2、基于这个再基于 spider 和 cspider 数据再进行微调一次 3、我试过 llama3-8b-sqlcoder-8b 微调后的版本 要比 qwen2-72b int4 版本效果差太多了