webdemo在多用户并发时，输出结果会变得很慢？

baichuan-inc / Baichuan-13B

A 13B large language model developed by Baichuan Intelligent Technology

Apache License 2.0

2.98k stars 236 forks source link

Open jamesruio opened 1 year ago

jamesruio commented 1 year ago

在单A100上执行webdemo时，单卡模型回答问题很快。但是在多用户并发时，输出结果会变得很慢？请问是stremlit的原因吗？如何能优化输速率呢？

LydiaCai1203 commented 1 year ago

不是 stremlit 的原因