search

ztxz16 / fastllm

纯c++的全平台llm加速库，支持python调用，chatglm-6B级模型单卡可达10000+token / s，支持glm, llama, moss基座，手机端流畅运行
Apache License 2.0
3.31k stars 339 forks source link

pyfastllm多线程 #335

Open sym19991125 opened 1 year ago

sym19991125 commented 1 year ago

使用cli_thread.py代码，输入问题后会报错：Segmentation fault (core dumped)

将response中的prompt_input经过makeInput处理后仍然不行。

已经尝试使用ChatGLM2-6b, 百川以及Alpaca13B

wildkid1024 commented 1 year ago

应该是后端API变更导致的，我稍后看一下。

yehx1 commented 1 year ago

cli_thread.py 你好，请问这个文件还有吗？我这边没有看到demo文件夹。