add stop parameter for qwen model

[xiesiyang]

在使用 Qwen-7B-MAT 模型做推理后端时,发现推理请求经常在返回 task json 之后继续返回大量无意义的语料,查看文档发现可以通过设置 stop 为 <|endoftext|> 来停止推理

未设置 stop:

设置 stop:

[ScarletPan]

感谢你的发现！

[zzp-seeker]

@xiesiyang 按照readme部署Qwen-7B-MAT服务，调用时显示 sampling param 里的 stop=['<|endoftext|>', '<|im_end|>', '<|im_start|>']，并没有出现你说的情况，请问你这边运行时的环境是怎样的，包括vllm和transformers的版本

[xiesiyang]

@zzp-seeker 你好,之前测试环境被铲了,我重新按照 readme部署了一个环境是 ok 的.