并发问题 - Githubissues

li-plus / chatglm.cpp

C++ implementation of ChatGLM-6B & ChatGLM2-6B & ChatGLM3 & GLM4

MIT License

2.81k stars 327 forks source link

Open Ab-123 opened 1 week ago

Ab-123 commented 1 week ago

实现websocket的过程中，在实现多客户端同时调用时，回复会错乱甚至停止前一个客户端的任务，重新接收prompt去运算，然后同时返回给已连接的多个客户端

kbqncf commented 2 days ago

只能自己实现任务队列了