v 1.1.4 Canal HA server异常问题java.io.IOException: Connection reset by peer

dingyufei615 commented 4 years ago

canal HA server日志一直报这个异常，但是同步任务正常。之前运行没问题，3个server滚动重启一次后有两个server的日志就一直报这个问题

2020-08-10 19:37:27.982 [New I/O server worker #1-59] ERROR com.alibaba.otter.canal.admin.handler.SessionHandler - something goes wrong with channel:[id: 0x78340954, /172.50.7.1:49574 => /172.50.7.50:11110], exception=java.io.IOException: Connection reset by peer at sun.nio.ch.FileDispatcherImpl.read0(Native Method) at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39) at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223) at sun.nio.ch.IOUtil.read(IOUtil.java:192) at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380) at org.jboss.netty.channel.socket.nio.NioWorker.read(NioWorker.java:322) at org.jboss.netty.channel.socket.nio.NioWorker.processSelectedKeys(NioWorker.java:281) at org.jboss.netty.channel.socket.nio.NioWorker.run(NioWorker.java:201) at org.jboss.netty.util.internal.IoWorkerRunnable.run(IoWorkerRunnable.java:46) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) 2020-08-10 19:37:39.288 [New I/O server worker #1-63] ERROR com.alibaba.otter.canal.admin.handler.SessionHandler - something goes wrong with channel:[id: 0x476939de, /172.50.7.1:51040 => /172.50.7.50:11110], exception=java.io.IOException: Connection reset by peer at sun.nio.ch.FileDispatcherImpl.read0(Native Method) at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39) at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223) at sun.nio.ch.IOUtil.read(IOUtil.java:192) at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380) at org.jboss.netty.channel.socket.nio.NioWorker.read(NioWorker.java:322) at org.jboss.netty.channel.socket.nio.NioWorker.processSelectedKeys(NioWorker.java:281) at org.jboss.netty.channel.socket.nio.NioWorker.run(NioWorker.java:201) at org.jboss.netty.util.internal.IoWorkerRunnable.run(IoWorkerRunnable.java:46) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

刚又滚动重启了server 日志和任务正常了
所以不清楚上面导致这个异常原因在哪

dingyufei615 commented 4 years ago

今天server又出现这个异常

dingyufei615 commented 4 years ago

看了admin的日志 GC频繁可能是资源不够导致服务端主动关闭了连接加下资源看看

dingyufei615 commented 4 years ago

内存 CPU都资源加了过了段时间还是报这些异常。

aiguo123 commented 4 years ago

请问解决了吗我也有这个问题

dingyufei615 commented 4 years ago

请问解决了吗我也有这个问题并没有～不过不影响instance的运行，就是canal server的日志一直刷这个日志。

aiguo123 commented 4 years ago

请问解决了吗我也有这个问题并没有～不过不影响instance的运行，就是canal server的日志一直刷这个日志。

不影响instance运行，但是我数据也没同步到es里。。。。

aiguo123 commented 4 years ago

请问解决了吗我也有这个问题并没有～不过不影响instance的运行，就是canal server的日志一直刷这个日志。

不影响instance运行，但是我数据也没同步到es里。。。。

他是运行一段时间后，就会出现。应该是client超时自动断掉，不知道怎么防止client断开。。

dingyufei615 commented 4 years ago

请问解决了吗我也有这个问题并没有～不过不影响instance的运行，就是canal server的日志一直刷这个日志。

不影响instance运行，但是我数据也没同步到es里。。。。

他是运行一段时间后，就会出现。应该是client超时自动断掉，不知道怎么防止client断开。。

好吧应用场景不同我是解析binlog到Kafka 没有用到canal-client 所以client超时自动断掉 instance发送数据到kafka并不受影响。希望有大大能帮忙解决下或者说明下问题原因 @agapple

gujiachun commented 3 years ago

我也遇到同样的问题，正常同步到kafka；；；但是canal-server 一直报 2021-01-09 12:56:44.755 [New I/O server worker #1-2] ERROR com.alibaba.otter.canal.admin.handler.SessionHandler - something goes wrong with channel:[id: 0x75f17951, /172.16.21.4:51715 => /10.20.170.47:11110], exception=java.io.IOException: Connection reset by peer

希望大佬，尽快有解决方案；看异常日志很慌

gujiachun commented 3 years ago

请问解决了吗我也有这个问题并没有～不过不影响instance的运行，就是canal server的日志一直刷这个日志。

不影响instance运行，但是我数据也没同步到es里。。。。

他是运行一段时间后，就会出现。应该是client超时自动断掉，不知道怎么防止client断开。。

好吧应用场景不同我是解析binlog到Kafka 没有用到canal-client 所以client超时自动断掉 instance发送数据到kafka并不受影响。希望有大大能帮忙解决下或者说明下问题原因 @agapple

解决了吗？

dingyufei615 commented 2 years ago

@agapple

gujiachun commented 2 years ago

以收到