keyfall / xuexibiji

3 stars 0 forks source link

zookeeper #59

Open keyfall opened 2 years ago

keyfall commented 2 years ago

入门

概述

Zookeeper是一个开源的分布式的,为分布式框架提供服务的Apache项目 image

特点

image

数据结构

Zookeeper数据模型的结构与unix文件系统类似,树形,每个节点叫做ZNode,每个ZNode默认存储1MB的数据,这就说明存储的东西不能太大,海量数据就不适用了,就存储一些配置信息,或者一些server/client的状态等,每个ZNode都可以通过其路径唯一标识。

应用场景

统一命名服务,统一配置管理,统一集群管理,服务器节点动态上下线,软负载均衡等.

统一命名服务

分布式环境下,经常需要对应用/服务进行统一命名,便于识别。例如ip和域名

统一配置管理

分布式环境下,配置文件同步是必备的 一个集群中,所有节点的配置信息是一致的,比如Kafka集群 对配置文件修改后,希望能够快速同步到各个节点上

可将配置信息写入ZooKeeper上的一个Znode, 各个客户端服务器监听这个Znode. 这样的话,ZooKeeper相当于一个存储器,我在一个文件夹下我建一个txt,里面也可以放置配置信息,client需要就去读取

统一集群管理

分布式环境中,实时掌握每个节点的状态是必要的, 将节点信息写入ZooKeeper上的一个ZNode 监听这个ZNode可获取它的实时状态变化

服务器动态上下线

客户端能实时洞察到服务器上下线的变化 image

软负载均衡

Zookeeper中记录每台服务器的访问数,让访问数最少的服务器去处理最新的客户端请求 image

ZooKeeper配置

ZooKeeper配置文件zoo_sample.cfg详解

主要是5个属性,tickTime,initLimit,syncLimit,dataDir,clientPort

tickTime

心跳时间,心跳的间隔时间,相当于一次时间间隔,需要与initlimit和synclimit一起结合使用,默认是2000毫秒,2秒一次。

initlimit

集群中follower服务器(F)与leader服务器(L)之间初始连接时的最多心跳数,就是建立通信的时间=initlimit*tickTime

synclimit

集群中follower服务器(F)跟leader服务器(F)之间的请求和应答最多能容忍的心跳数,请求发出到接收应答的时间,超过这个时间,Leader就从服务器列表删除follower

dataDir

保存ZooKeeper中的数据,默认的tmp目录,一般会被linux定期删除,所以一般不放在tmp目录下

clientPort=2181

客户端默认连接端口,一般不做修改

ZooKeeper选举机制

第一次启动

-主要遵循4个原则: --每个服务器可以投一票 --每个服务器会把自己的票投给myid值最高的那位 --启动的服务器达到半数以上才会选举出leader --选举出了leader之后,后续的都是follower 所以得出结论:leader的获得者与启动的服务器myid有关,达到半数时,myid最高的服务器为leader服务器

选举无法完成时,服务器状态保持为looking

非第一次启动

一台以上的服务器挂了,集群可能出现两种情况 存在leader:此时挂掉的服务器会进行选举,然后会被告知有leader,然后该机器就与leader机器建立连接,并进行状态同步即可 集群中leader挂了,并且服务器存活半数以上,重新选举,但是规则变成epoch>zxid>sid epoch是每个leader任期的代号,是此服务器历经了多少个王朝 zxid是事务id,每次clien对此服务器进行写操作就会加1 sid是服务器ID,表示一台ZooKeeper集群中的机器,和myid一致