zshuangyan / blog

我的个人博客
2 stars 0 forks source link

Redis主节点失联定位 #4

Open zshuangyan opened 6 years ago

zshuangyan commented 6 years ago

使用python脚本对master节点执行批量插入的操作时,发现主节点会和从节点以及哨兵节点失去联系,日志如下:

1:M 29 Nov 20:07:42.480 # Connection with slave 10.202.43.79:6380 lost.

推测很可能是在对主节点进行批量插入时,主节点要同时向多个从节点同步数据,因此占用大量网络带宽,导致sentinel节点无法和主节点通信而造成主备切换。

在pod上安装了nethogs观察redis-server进程占用带宽的情况,发现当主节点有两个slave节点的情况下,批量插入1000000个字符串(大约70M),主节点的sent端带宽达到20M/s,如果插入更大的数据就导致主节点和从节点,哨兵节点丢失通信,哨兵节点执行主备切换了,印证了之前的猜想;