Grt1228 / chatgpt-java

ChatGPT Java SDK支持流式输出、Gpt插件、联网。支持OpenAI官方所有接口。ChatGPT的Java客户端。OpenAI GPT-3.5-Turb GPT-4 Api Client for Java
https://chatgpt-java.unfbx.com
Apache License 2.0
3.3k stars 810 forks source link

部署服务时最大并发数不能超过5 #210

Closed lin-xiaosheng closed 10 months ago

lin-xiaosheng commented 10 months ago

使用openai_apikey部署服务 当业务端多个请求同时发起,最大只有5个请求能得到回应,其余的请求会进入队列等待。直至上一个提问回复完毕后下一个才会继续回答。 尝试了增加key数量,并负载均衡至3个付费key,总并发依旧只有5,是否哪里出了问题?或者代码有限制并发的地方吗

Grt1228 commented 10 months ago

自定义okhttpclient @lin-xiaosheng

classfang commented 10 months ago

okhttp3.Dispatcher中默认了maxRequestsPerHost=5,同时对一个ip进行的请求最大5,自定义okhttpclient修改一下即可。