添加add_special_tokens选项，默认true，支持chatglm

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行

Apache License 2.0

3.32k stars 340 forks source link

Closed levinxo closed 6 months ago

levinxo commented 6 months ago

如题，默认为true，不影响目前chatglm的推理逻辑，为false后，将去除chatglm的special token。请再帮忙review合入，感谢~

levinxo commented 6 months ago

@ztxz16 大佬再看看，上次测试OK后，拷贝代码时有个变量位置拷贝错了，已修正