search

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行
Apache License 2.0
3.31k stars 339 forks source link

qwen模型history数组 大于22，中文字或英文单词大于4000之后显存暴涨，自动挂掉！history数组大于50中文字或英文单词大于9000则报错too many #308

Open ladygagaclass opened 1 year ago

ladygagaclass commented 1 year ago

qwen模型history数组 大于22，中文字或英文单词大于4000之后显存暴涨，自动挂掉！history数组大于50中文字或英文单词大于9000则报错too many