search

wenda-LLM / wenda

闻达：一个LLM调用平台。目标为针对特定环境的高效内容生成，同时考虑个人和中小企业的计算资源局限性，以及知识安全和私密性问题
GNU Affero General Public License v3.0
6.24k stars 811 forks source link

wenda的多用户同时使用是模型可以同时对多个提问进行答案生成吗？ #380

Closed tq0426w closed 1 year ago

tq0426w commented 1 year ago

wenda的多用户使用，是说llm（如chatglm-6b）可以同时对10个用户的提问进行答案生成，然后通过websocket接口同时将这10个生成中的答案返回给客户端吗？

还是说同一时间只有一个用户可以接收到答案，其他用户只能等待呢？

如果能同时对10个用户的问题进行生成，虽然每个用户的响应会慢一些，因为有打字机效果，用户基本还是可以接受的，这样的体验会更好一些，就是不知道应该如何实现。

谢谢大佬回答！

l15y commented 1 year ago

同时对10个用户的问题进行生成的话，chatglm-6b因为实现有问题,会乱码