search

THUDM / CodeGeeX

CodeGeeX: An Open Multilingual Code Generation Model (KDD 2023)
https://codegeex.cn
Apache License 2.0
8.22k stars 603 forks source link

并发的解决。有没有大佬们有经验 #161

Open acbogeh opened 1 year ago

acbogeh commented 1 year ago

比如10-20人的并发申请，需要至少几卡才不会爆内存，需要做队列缓冲不？