alibaba / canal

阿里巴巴 MySQL binlog 增量订阅&消费组件
Apache License 2.0
28.47k stars 7.61k forks source link

v 1.1.4 Canal HA server异常问题java.io.IOException: Connection reset by peer #2940

Open dingyufei615 opened 4 years ago

dingyufei615 commented 4 years ago

canal HA server日志一直报这个异常,但是同步任务正常。 之前运行没问题,3个server滚动重启一次后 有两个server的日志就一直报这个问题

2020-08-10 19:37:27.982 [New I/O server worker #1-59] ERROR com.alibaba.otter.canal.admin.handler.SessionHandler - something goes wrong with channel:[id: 0x78340954, /172.50.7.1:49574 => /172.50.7.50:11110], exception=java.io.IOException: Connection reset by peer at sun.nio.ch.FileDispatcherImpl.read0(Native Method) at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39) at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223) at sun.nio.ch.IOUtil.read(IOUtil.java:192) at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380) at org.jboss.netty.channel.socket.nio.NioWorker.read(NioWorker.java:322) at org.jboss.netty.channel.socket.nio.NioWorker.processSelectedKeys(NioWorker.java:281) at org.jboss.netty.channel.socket.nio.NioWorker.run(NioWorker.java:201) at org.jboss.netty.util.internal.IoWorkerRunnable.run(IoWorkerRunnable.java:46) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) 2020-08-10 19:37:39.288 [New I/O server worker #1-63] ERROR com.alibaba.otter.canal.admin.handler.SessionHandler - something goes wrong with channel:[id: 0x476939de, /172.50.7.1:51040 => /172.50.7.50:11110], exception=java.io.IOException: Connection reset by peer at sun.nio.ch.FileDispatcherImpl.read0(Native Method) at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39) at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223) at sun.nio.ch.IOUtil.read(IOUtil.java:192) at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380) at org.jboss.netty.channel.socket.nio.NioWorker.read(NioWorker.java:322) at org.jboss.netty.channel.socket.nio.NioWorker.processSelectedKeys(NioWorker.java:281) at org.jboss.netty.channel.socket.nio.NioWorker.run(NioWorker.java:201) at org.jboss.netty.util.internal.IoWorkerRunnable.run(IoWorkerRunnable.java:46) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)

刚又滚动重启了server 日志和任务正常了
所以不清楚上面导致这个异常原因在哪

dingyufei615 commented 4 years ago

今天server又出现这个异常

dingyufei615 commented 4 years ago

看了admin的日志 GC频繁 可能是资源不够 导致服务端主动关闭了连接 加下资源看看

dingyufei615 commented 4 years ago

内存 CPU都资源加了 过了段时间 还是报这些异常。

aiguo123 commented 4 years ago

请问解决了吗 我也有这个问题

dingyufei615 commented 4 years ago

请问解决了吗 我也有这个问题 并没有~不过不影响instance的运行,就是canal server的日志一直刷这个日志。

aiguo123 commented 4 years ago

请问解决了吗 我也有这个问题 并没有~不过不影响instance的运行,就是canal server的日志一直刷这个日志。

不影响instance运行,但是我数据也没同步到es里。。。。

aiguo123 commented 4 years ago

请问解决了吗 我也有这个问题 并没有~不过不影响instance的运行,就是canal server的日志一直刷这个日志。

不影响instance运行,但是我数据也没同步到es里。。。。

他是运行一段时间后,就会出现。应该是client超时自动断掉,不知道怎么防止client断开。。

dingyufei615 commented 4 years ago

请问解决了吗 我也有这个问题 并没有~不过不影响instance的运行,就是canal server的日志一直刷这个日志。

不影响instance运行,但是我数据也没同步到es里。。。。

他是运行一段时间后,就会出现。应该是client超时自动断掉,不知道怎么防止client断开。。

好吧 应用场景不同 我是解析binlog到Kafka 没有用到canal-client 所以client超时自动断掉 instance发送数据到kafka并不受影响。 希望有大大能帮忙解决下 或者说明下问题原因 @agapple

gujiachun commented 3 years ago

我也遇到同样的问题,正常同步到kafka;;;但是canal-server 一直报 2021-01-09 12:56:44.755 [New I/O server worker #1-2] ERROR com.alibaba.otter.canal.admin.handler.SessionHandler - something goes wrong with channel:[id: 0x75f17951, /172.16.21.4:51715 => /10.20.170.47:11110], exception=java.io.IOException: Connection reset by peer

希望大佬,尽快有解决方案;看异常日志 很慌

gujiachun commented 3 years ago

请问解决了吗 我也有这个问题 并没有~不过不影响instance的运行,就是canal server的日志一直刷这个日志。

不影响instance运行,但是我数据也没同步到es里。。。。

他是运行一段时间后,就会出现。应该是client超时自动断掉,不知道怎么防止client断开。。

好吧 应用场景不同 我是解析binlog到Kafka 没有用到canal-client 所以client超时自动断掉 instance发送数据到kafka并不受影响。 希望有大大能帮忙解决下 或者说明下问题原因 @agapple

解决了吗?

dingyufei615 commented 2 years ago

@agapple

gujiachun commented 2 years ago

以收到

xie900610 commented 2 years ago

同样遇到了这个问题

gujiachun commented 2 years ago

以收到

dreamkele2007 commented 2 years ago

v1.1.6遇到同样的问题,烦请大佬出手解决@agapple

gujiachun commented 2 years ago

以收到

wzshuang commented 2 years ago

2022年8月30日 17:50:56 v1.1.6遇到同样的问题,烦请大佬出手解决

gujiachun commented 2 years ago

以收到

op-lht commented 2 years ago

2022-10-17 10:30 v1.1.6遇到同样的问题(测试的几天时间 每天都会遇到,服务器2核4G),烦请大佬出手解决 canal.serverMode=tcp

IOException:Connection reset by peer

zangjietutu commented 10 months ago

@op-lht 解决了吗?我现在1.1.6也是同样问题

gujiachun commented 10 months ago

以收到

zhiyongpeng commented 3 weeks ago

v1.1.8-alpha-2 遇到同样的问题,烦请大佬 @agapple 出手解决

gujiachun commented 3 weeks ago

以收到

lontten commented 10 hours ago

1.1.7 遇到同样的问题