search

THUDM / ChatGLM3

ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型
Apache License 2.0
13.19k stars 1.52k forks source link

拼接格式与 chat 接口处理逻辑是否冲突 #1238

Closed Tesla-jiang closed 2 months ago

Tesla-jiang commented 2 months ago

这样的格式拼接是不是和 chat 接口的处理逻辑存在冲突 "<|user|>\n讲个故事\n<|assistant|>"

zRzRzRzRzRzRzR commented 2 months ago

是的，这个是给generate的，chat你只要输出文字，不要自己拼接

Tesla-jiang commented 1 month ago

从 chat 接口内部调用 generate 接口的处理逻辑看，使用上述拼接方式生成的 input_ids 不符合你们对于特殊符（如<|user|>、<|assistant|>）的 id 定义，这部分是否只是为了兼容通用的 generate 接口？且存在对模型性能的损失？