iohao / ioGame

无锁异步化、事件驱动架构设计的 java netty 网络编程框架; 轻量级,无需依赖任何第三方中间件或数据库就能支持集群、分布式; 适用于网络游戏服务器、物联网、内部系统及各种需要长连接的场景; 通过 ioGame 你可以很容易的搭建出一个集群无中心节点、集群自动化、分布式的网络服务器;FXGL、Unity、UE、Cocos Creator、Godot、Netty、Protobuf、webSocket、tcp、socket;java Netty 游戏服务器框架;
http://game.iohao.com
GNU Affero General Public License v3.0
895 stars 198 forks source link

压力测试过程中对外服与网关连接中断 #384

Open congcongfu opened 2 days ago

congcongfu commented 2 days ago

你的问题

描述你遇到的问题

我的部署模式是:对外服2个(8C16G),网关3个(8C16G),逻辑服10个。 压力测试情况下:5000个连接(5000个用户同时在线),压测一个查询用户信息的action,大概qps 在 2000左右 对外服和网关的连接全部断连,对外服不可用。

对外服出现如下异常

2024-10-12 18:21:17,476[v3][game-external][game-external-online-aliyun][iohao.com:external-netty-server-worker-3][][][][SocketUserSessionHandler.java:exceptionCaught:63][ERROR][ExternalTopic] - SocketUserSessionHandler exceptionCaught[rpcContext:{"ThreadContextClassLoader":"org.springframework.boot.web.embedded.tomcat.TomcatEmbeddedWebappClassLoader"}]

io.netty.channel.unix.Errors$NativeIoException: recvAddress(..) failed: Connection reset by peer

网关出现如下异常

2024-10-11 18:11:24,390[v3][gateway-game][game-gateway-aliyun][Processor-Executor-common-1-2][][][][ResponseMessageBrokerProcessor.java:handleRequest:73][ERROR][MsgTransferTopic] - Check connection failed for address: Origin url [10.16.72.249:38414], Unique key [10.16.72.249:38414]., maybe write overflow![rpcContext:{"ThreadContextClassLoader":"org.springframework.boot.web.embedded.tomcat.TomcatEmbeddedWebappClassLoader"}]

com.alipay.remoting.exception.RemotingException: Check connection failed for address: Origin url [10.16.72.249:38414], Unique key [10.16.72.249:38414]., maybe write overflow!

at com.alipay.remoting.DefaultConnectionManager.check(DefaultConnectionManager.java:364) ~[bolt-1.6.6.jar:?]

at com.alipay.remoting.rpc.RpcServerRemoting.oneway(RpcServerRemoting.java:81) ~[bolt-1.6.6.jar:?]

at com.alipay.remoting.rpc.RpcRemoting.oneway(RpcRemoting.java:91) ~[bolt-1.6.6.jar:?]

at com.alipay.remoting.rpc.RpcServer.oneway(RpcServer.java:529) ~[bolt-1.6.6.jar:?]

预期值

期望的预期值

qps预期可到2w左右

实际值

实际值

2000 qps

复现步骤

描述复现步骤,并提供复现 demo

暂无法提供

版本

疑问

是否与sofa-bolt 的框架限制有关?需要进行特殊的参数调优。

iohao commented 2 days ago

可以看下 https://github.com/sofastack/sofa-bolt/issues/254 https://github.com/sofastack/sofa-rpc/issues/551

congcongfu commented 2 days ago

感谢,我调整参数再试一下。