search

OrionStarAI / Orion

Orion-14B is a family of models includes a 14B foundation LLM, and a series of models: a chat model, a long context model, a quantized model, a RAG fine-tuned model, and an Agent fine-tuned model. Orion-14B 系列模型包括一个具有140亿参数的多语言基座大模型以及一系列相关的衍生模型，包括对话模型，长文本模型，量化模型，RAG微调模型，Agent微调模型等。
Apache License 2.0
785 stars 57 forks source link

VLLM 运行输出会输出不同语言 #25

Open ZeroYuJie opened 9 months ago

ZeroYuJie commented 9 months ago

我在prompt里规定限制了语言，在使用https://github.com/dachengai/vllm 运行会出现输出不同语言的情况，在Transformers 中不会出现这种情况

chenxingphh commented 9 months ago

感谢关注。可能是prompt使用造成的。chat的prompt格式详见：https://huggingface.co/OrionStarAI/Orion-14B-Chat/blob/main/generation_utils.py