从transformers推理切换到vllm推理效果变差

[HIT-Owen]

模型：01ai/Yi-1.5-9B-Chat 代码：均为官方提供的代码 生成参数：transformers和vllm生成参数均设置为temperature=0.3, top_p=0.7 问题：鸡柳是鸡身上哪个部位？

transformers生成结果：

vllm生成结果：

其中vllm试了很多种生成参数，生成了多次，但是没有一次是对的结果。。。

[LIUKAI0815]

个人感觉和vllm的chat_template有关，参考https://github.com/QwenLM/Qwen/issues/728 https://github.com/vllm-project/vllm/issues/2051 这两个网页

[LIUKAI0815]

https://zhuanlan.zhihu.com/p/658780653

[LIUKAI0815]

https://github.com/vllm-project/vllm/issues/2947