search

deepseek-ai / DeepSeek-LLM

DeepSeek LLM: Let there be answers
https://chat.deepseek.com/
MIT License
1.41k stars 92 forks source link

关于vllm使用的疑问 #37

Closed xuyifan-0731 closed 8 months ago

xuyifan-0731 commented 8 months ago

你好！在使用官方提供的vllm代码的时候，我有一个问题： prompts = [tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False) for messages in messages_list] 这一步操作之后，实际的生成结果是一个字符串序列。但是诸如<｜begin▁of▁sentence｜>等其实应该是作为special token拼接的。请问这样使用是否是正确的？

luofuli commented 8 months ago

你好！在使用官方提供的vllm代码的时候，我有一个问题： prompts = [tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False) for messages in messages_list] 这一步操作之后，实际的生成结果是一个字符串序列。但是诸如<｜begin▁of▁sentence｜>等其实应该是作为special token拼接的。请问这样使用是否是正确的？

Thanks for pointing out this bug. We've already fixed it. https://github.com/deepseek-ai/DeepSeek-LLM/pull/39/commits/ebec08a377ab5a770472d8353ecd75137e9f1f36