是否能支持sqlcoder系列模型

ModelTC / lightllm

LightLLM is a Python-based LLM (Large Language Model) inference and serving framework, notable for its lightweight design, easy scalability, and high-speed performance.

Apache License 2.0

2.47k stars 197 forks source link

是否能支持sqlcoder系列模型 #310

Open 2496289471 opened 8 months ago

2496289471 commented 8 months ago

实测sqlcoder2（基于starcoder）模型的速度比vllm快，但是输出内容与原版模型相差甚远，是否完全是因为不支持beam search的问题？

hiworldwzj commented 8 months ago

@2496289471 应该和beam search 关系不大，可能是模型细节不太一样，能不能提供一个huggingface 链接。后续更新一下。

2496289471 commented 8 months ago

@2496289471 应该和beam search 关系不大，可能是模型细节不太一样，能不能提供一个huggingface 链接。后续更新一下。

非常感谢，希望能早日更新。https://huggingface.co/defog/sqlcoder2