Open keyfall opened 2 years ago
Zookeeper是一个开源的分布式的,为分布式框架提供服务的Apache项目
Zookeeper数据模型的结构与unix文件系统类似,树形,每个节点叫做ZNode,每个ZNode默认存储1MB的数据,这就说明存储的东西不能太大,海量数据就不适用了,就存储一些配置信息,或者一些server/client的状态等,每个ZNode都可以通过其路径唯一标识。
统一命名服务,统一配置管理,统一集群管理,服务器节点动态上下线,软负载均衡等.
分布式环境下,经常需要对应用/服务进行统一命名,便于识别。例如ip和域名
分布式环境下,配置文件同步是必备的 一个集群中,所有节点的配置信息是一致的,比如Kafka集群 对配置文件修改后,希望能够快速同步到各个节点上
可将配置信息写入ZooKeeper上的一个Znode, 各个客户端服务器监听这个Znode. 这样的话,ZooKeeper相当于一个存储器,我在一个文件夹下我建一个txt,里面也可以放置配置信息,client需要就去读取
分布式环境中,实时掌握每个节点的状态是必要的, 将节点信息写入ZooKeeper上的一个ZNode 监听这个ZNode可获取它的实时状态变化
客户端能实时洞察到服务器上下线的变化
Zookeeper中记录每台服务器的访问数,让访问数最少的服务器去处理最新的客户端请求
主要是5个属性,tickTime,initLimit,syncLimit,dataDir,clientPort
心跳时间,心跳的间隔时间,相当于一次时间间隔,需要与initlimit和synclimit一起结合使用,默认是2000毫秒,2秒一次。
集群中follower服务器(F)与leader服务器(L)之间初始连接时的最多心跳数,就是建立通信的时间=initlimit*tickTime
集群中follower服务器(F)跟leader服务器(F)之间的请求和应答最多能容忍的心跳数,请求发出到接收应答的时间,超过这个时间,Leader就从服务器列表删除follower
保存ZooKeeper中的数据,默认的tmp目录,一般会被linux定期删除,所以一般不放在tmp目录下
客户端默认连接端口,一般不做修改
-主要遵循4个原则: --每个服务器可以投一票 --每个服务器会把自己的票投给myid值最高的那位 --启动的服务器达到半数以上才会选举出leader --选举出了leader之后,后续的都是follower 所以得出结论:leader的获得者与启动的服务器myid有关,达到半数时,myid最高的服务器为leader服务器
选举无法完成时,服务器状态保持为looking
一台以上的服务器挂了,集群可能出现两种情况 存在leader:此时挂掉的服务器会进行选举,然后会被告知有leader,然后该机器就与leader机器建立连接,并进行状态同步即可 集群中leader挂了,并且服务器存活半数以上,重新选举,但是规则变成epoch>zxid>sid epoch是每个leader任期的代号,是此服务器历经了多少个王朝 zxid是事务id,每次clien对此服务器进行写操作就会加1 sid是服务器ID,表示一台ZooKeeper集群中的机器,和myid一致
入门
概述
Zookeeper是一个开源的分布式的,为分布式框架提供服务的Apache项目![image](https://user-images.githubusercontent.com/21198605/156262284-e4df420a-099a-4fcb-ba53-7e6d4d7bfc99.png)
特点
数据结构
Zookeeper数据模型的结构与unix文件系统类似,树形,每个节点叫做ZNode,每个ZNode默认存储1MB的数据,这就说明存储的东西不能太大,海量数据就不适用了,就存储一些配置信息,或者一些server/client的状态等,每个ZNode都可以通过其路径唯一标识。
应用场景
统一命名服务,统一配置管理,统一集群管理,服务器节点动态上下线,软负载均衡等.
统一命名服务
分布式环境下,经常需要对应用/服务进行统一命名,便于识别。例如ip和域名
统一配置管理
分布式环境下,配置文件同步是必备的 一个集群中,所有节点的配置信息是一致的,比如Kafka集群 对配置文件修改后,希望能够快速同步到各个节点上
可将配置信息写入ZooKeeper上的一个Znode, 各个客户端服务器监听这个Znode. 这样的话,ZooKeeper相当于一个存储器,我在一个文件夹下我建一个txt,里面也可以放置配置信息,client需要就去读取
统一集群管理
分布式环境中,实时掌握每个节点的状态是必要的, 将节点信息写入ZooKeeper上的一个ZNode 监听这个ZNode可获取它的实时状态变化
服务器动态上下线
客户端能实时洞察到服务器上下线的变化![image](https://user-images.githubusercontent.com/21198605/156263752-45c43452-c66f-441c-b1f8-d589e97e9e73.png)
软负载均衡
Zookeeper中记录每台服务器的访问数,让访问数最少的服务器去处理最新的客户端请求![image](https://user-images.githubusercontent.com/21198605/156263854-23588629-5ca1-4f7b-85fa-95560b00e1bb.png)
ZooKeeper配置
ZooKeeper配置文件zoo_sample.cfg详解
主要是5个属性,tickTime,initLimit,syncLimit,dataDir,clientPort
tickTime
心跳时间,心跳的间隔时间,相当于一次时间间隔,需要与initlimit和synclimit一起结合使用,默认是2000毫秒,2秒一次。
initlimit
集群中follower服务器(F)与leader服务器(L)之间初始连接时的最多心跳数,就是建立通信的时间=initlimit*tickTime
synclimit
集群中follower服务器(F)跟leader服务器(F)之间的请求和应答最多能容忍的心跳数,请求发出到接收应答的时间,超过这个时间,Leader就从服务器列表删除follower
dataDir
保存ZooKeeper中的数据,默认的tmp目录,一般会被linux定期删除,所以一般不放在tmp目录下
clientPort=2181
客户端默认连接端口,一般不做修改
ZooKeeper选举机制
第一次启动
-主要遵循4个原则: --每个服务器可以投一票 --每个服务器会把自己的票投给myid值最高的那位 --启动的服务器达到半数以上才会选举出leader --选举出了leader之后,后续的都是follower 所以得出结论:leader的获得者与启动的服务器myid有关,达到半数时,myid最高的服务器为leader服务器
选举无法完成时,服务器状态保持为looking
非第一次启动
一台以上的服务器挂了,集群可能出现两种情况 存在leader:此时挂掉的服务器会进行选举,然后会被告知有leader,然后该机器就与leader机器建立连接,并进行状态同步即可 集群中leader挂了,并且服务器存活半数以上,重新选举,但是规则变成epoch>zxid>sid epoch是每个leader任期的代号,是此服务器历经了多少个王朝 zxid是事务id,每次clien对此服务器进行写操作就会加1 sid是服务器ID,表示一台ZooKeeper集群中的机器,和myid一致