search

RUCKBReasoning / text2sql-schema-filter

The source code for the schema filter (question + schema only)
31 stars 4 forks source link

请问下CodeS论文中的这个实验，有没有结合schema filter 和Value Retriever等操作？ #4

Closed 290251949 closed 4 months ago

290251949 commented 5 months ago

微信截图_20240521173416

请问下CodeS这里的codellama的实验结果，是结合 schema filter 和Value Retriever之后跑出结果吗？因为我之前也跑过code llama的实验，没有做schema filter等操作的情况下（即全部表格一起写在prompt中），7b的EX指标只有75%左右。所以想排查下效果差的原因。期待您的回复！

lihaoyang-ruc commented 5 months ago

是的，这里的SFT LLama的性能是加了schema filter 和Value Retriever。

SFT LLama和SFT CodeS的唯一不同就是把LLama基座更换成了CodeS，他们使用同样的prompt构建策略。

290251949 commented 4 months ago

好的。明白了。谢谢您

290251949 commented 4 months ago

不好意思，再请教个问题，请问这里是用的huggingface 里的meta-llama/Llama-2-7b版本模型对吗？没有用Code Llama 以及llama-chat那些版本对吧？