Closed lin-xiaosheng closed 10 months ago
使用openai_apikey部署服务 当业务端多个请求同时发起,最大只有5个请求能得到回应,其余的请求会进入队列等待。直至上一个提问回复完毕后下一个才会继续回答。 尝试了增加key数量,并负载均衡至3个付费key,总并发依旧只有5,是否哪里出了问题?或者代码有限制并发的地方吗
自定义okhttpclient @lin-xiaosheng
okhttp3.Dispatcher中默认了maxRequestsPerHost=5,同时对一个ip进行的请求最大5,自定义okhttpclient修改一下即可。
使用openai_apikey部署服务 当业务端多个请求同时发起,最大只有5个请求能得到回应,其余的请求会进入队列等待。直至上一个提问回复完毕后下一个才会继续回答。 尝试了增加key数量,并负载均衡至3个付费key,总并发依旧只有5,是否哪里出了问题?或者代码有限制并发的地方吗