cisen
commented
5 years ago 安装
https://github.com/etcd-io/etcd/blob/master/Documentation/op-guide/clustering.md
windows
- 下载对应的版本https://github.com/etcd-io/etcd/releases
- 运行服务端，
etcd - 测试
etcdctl set hello world
linux
可以使用yum安装
yum install etcd -y修改配置文件
[root@etcd1 ~]# grep -v ^# /etc/etcd/etcd.conf
ETCD_NAME=etcd01
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="http://0.0.0.0:2380"
ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://192.168.122.51:2380"
ETCD_INITIAL_CLUSTER="etcd01=http://192.168.122.51:2380,etcd02=http://192.168.122.52:2380,etcd03=http://192.168.122.53:2380"
ETCD_INITIAL_CLUSTER_STATE="existing"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster2"
ETCD_ADVERTISE_CLIENT_URLS="http://192.168.122.51:2379"修改完成后，还需要修改/usr/lib/systemd/system/etcd.service文件内容如下：
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
EnvironmentFile=-/etc/etcd/etcd.conf
User=etcd
# set GOMAXPROCS to number of processors
ExecStart=/bin/bash -c "GOMAXPROCS=$(nproc) /usr/bin/etcd \
--name=\"${ETCD_NAME}\" \
--data-dir=\"${ETCD_DATA_DIR}\" \
--listen-peer-urls=\"${ETCD_LISTEN_PEER_URLS}\" \
--advertise-client-urls=\"${ETCD_ADVERTISE_CLIENT_URLS}\" \
--initial-cluster-token=\"${ETCD_INITIAL_CLUSTER_TOKEN}\" \
--initial-cluster=\"${ETCD_INITIAL_CLUSTER}\" \
--initial-cluster-state=\"${ETCD_INITIAL_CLUSTER_STATE}\" \
--listen-client-urls=\"${ETCD_LISTEN_CLIENT_URLS}\""
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target报错
1、本地连接报错 内容如下：
Error: client: etcd cluster is unavailable or misconfigured
error #0: dial tcp 127.0.0.1:2379: getsockopt: connection refused
error #1: dial tcp 127.0.0.1:4001: getsockopt: connection refused如果出现如上的错误，是因为ETCD_LISTEN_CLIENT_URLS参数没有配置http://127.0.0.1:2379而导致的，所以这里我使用了0.0.0.0代表了监控所有地址。
2、context deadline exceeded 集群启动后，在通过etcdctl member list查看结果时，一直返回这个。后来发现和我使用的环境有关，因为测试不能上外网，这里配置了一个squid代理，在环境变量里有如下配置：
http_proxy=10.212.52.25:3128
https_proxy=10.212.52.25:3128
ftp_proxy=10.212.52.25:3128
export http_proxy https_proxy ftp_proxy 发现将这部分结果注释，重新启动etcd服务就好了。
docker
通过服务发现机制，在etcd中注册某个服务名字的目录，在该目录下存储可用的服务节点的IP。在使用服务的过程中，只要从服务目录下查找可用的服务节点去使用即可。
简介
https://www.infoq.cn/article/etcd-interpretation-application-scenario-implement-principle https://www.cnblogs.com/kevingrace/p/6859114.html http://jolestar.com/etcd-architecture/ https://github.com/etcd-io/etcd/tree/master/Documentation
通过服务发现机制，在etcd中注册某个服务名字的目录，在该目录下存储可用的服务节点的IP。在使用服务的过程中，只要从服务目录下查找可用的服务节点去使用即可。
Etcd是Kubernetes集群中的一个十分重要的组件，用于保存集群所有的网络配置和对象的状态信息。etcd是key-value存储（同zookeeper），在整个kubernetes集群中处于中心数据库地位，以集群的方式部署，可有效避免单点故障。
整个kubernetes系统中一共有两个服务需要用到etcd用来协同和存储配置，分别是：
注意：flannel操作etcd使用的是v2的API，而kubernetes操作etcd使用的v3的API，所以在下面我们执行etcdctl的时候需要设置ETCDCTL_API环境变量，该变量默认值为2。
实际上，etcd作为一个受到Zookeeper与doozer启发而催生的项目，除了拥有与之类似的功能外，更具有以下4个特点{![引自Docker官方文档]}。
服务发现
服务实例被动态地赋予网路位置。另外，由于自动伸缩、故障和升级，服务实例集合经常会动态改变。所以客户端代码需要使用详细设计的服务发现机制。
这是一个在浏览器输入域名，然后获取网站服务的流程。这个流程中，DNS服务器会根据我们的域名解析出一个ip地址，返回ip地址中对应链接包含的内容。我们根据特定的标志（域名）来获取我们所需要的服务，这就是服务发现。而在微服务的领域，我们将应用拆分成一个个的微服务之后，服务发现，则变成了微服务之间相互获取彼此的信息。
然而，在微服务的场景下，使用DNS服务器作为服务发现的实现者会存在以下几个问题。
DNS服务器不支持动态变更，不能够随着服务的状态变更（上线、下线、故障）而对域名映射变更。
DNS只能支持域名和ip地址的一一映射，但在微服务的场景中，很多微服务都会部署多个实例，这也就要求标志与服务要有一对多的映射。
DNS服务无法解决多数据中心的问题。
总的来说，服务发现就是程序如何通过一个标志来获取服务列表，并且这个服务列表是能够随着服务的状态而动态变更的。
ETCD参数说明
—data-dir 指定节点的数据存储目录，这些数据包括节点ID，集群ID，集群初始化配置，Snapshot文件，若未指定—wal-dir，还会存储WAL文件； —wal-dir 指定节点的was文件的存储目录，若指定了该参数，wal文件会和其他数据文件分开存储。 —name 节点名称 —initial-advertise-peer-urls 告知集群其他节点url. — listen-peer-urls 监听URL，用于与其他节点通讯 — advertise-client-urls 告知客户端url, 也就是服务的url — initial-cluster-token 集群的ID — initial-cluster 集群中所有节点
etcd概念词汇表
Raft：etcd所采用的保证分布式系统强一致性的算法。 Node：一个Raft状态机实例。 Member： 一个etcd实例。它管理着一个Node，并且可以为客户端请求提供服务。 Cluster：由多个Member构成可以协同工作的etcd集群。 Peer：对同一个etcd集群中另外一个Member的称呼。 Client： 向etcd集群发送HTTP请求的客户端。 WAL：预写式日志，etcd用于持久化存储的日志格式。 snapshot：etcd防止WAL文件过多而设置的快照，存储etcd数据状态。 Proxy：etcd的一种模式，为etcd集群提供反向代理服务。 Leader：Raft算法中通过竞选而产生的处理所有数据提交的节点。 Follower：竞选失败的节点作为Raft中的从属节点，为算法提供强一致性保证。 Candidate：当Follower超过一定时间接收不到Leader的心跳时转变为Candidate开始竞选。 Term：某个节点成为Leader到下一次竞选时间，称为一个Term。 Index：数据项编号。Raft中通过Term和Index来定位数据。
etcdctl 命令
节点迁移
在生产环境中，不可避免遇到机器硬件故障。当遇到硬件故障发生的时候，我们需要快速恢复节点。ETCD集群可以做到在不丢失数据的，并且不改变节点ID的情况下，迁移节点。 具体办法是：
1）停止待迁移节点上的etc进程； 2）将数据目录打包复制到新的节点； 3）更新该节点对应集群中peer url，让其指向新的节点； 4）使用相同的配置，在新的节点上启动etcd进程
Etcd具有下面这些属性：
完全复制：集群中的每个节点都可以使用完整的存档 高可用性：Etcd可用于避免硬件的单点故障或网络问题 一致性：每次读取都会返回跨多主机的最新写入 简单：包括一个定义良好、面向用户的API（gRPC） 安全：实现了带有可选的客户端证书身份验证的自动化TLS 快速：每秒10000次写入的基准速度 可靠：使用Raft算法实现了存储的合理分布
Etcd，Zookeeper，Consul 比较
这三个产品是经常被人拿来做选型比较的。 Etcd 和 Zookeeper 提供的能力非常相似，都是通用的一致性元信息存储，都提供watch机制用于变更通知和分发，也都被分布式系统用来作为共享信息存储，在软件生态中所处的位置也几乎是一样的，可以互相替代的。二者除了实现细节，语言，一致性协议上的区别，最大的区别在周边生态圈。Zookeeper 是apache下的，用java写的，提供rpc接口，最早从hadoop项目中孵化出来，在分布式系统中得到广泛使用（hadoop, solr, kafka, mesos 等）。Etcd 是coreos公司旗下的开源产品，比较新，以其简单好用的rest接口以及活跃的社区俘获了一批用户，在新的一些集群中得到使用（比如kubernetes）。虽然v3为了性能也改成二进制rpc接口了，但其易用性上比 Zookeeper 还是好一些。 而 Consul 的目标则更为具体一些，Etcd 和 Zookeeper 提供的是分布式一致性存储能力，具体的业务场景需要用户自己实现，比如服务发现，比如配置变更。而Consul 则以服务发现和配置变更为主要目标，同时附带了kv存储。 在软件生态中，越抽象的组件适用范围越广，但同时对具体业务场景需求的满足上肯定有不足之处。
ETCD vs ZK
本文选取ZK作为典型代表与ETCD进行比较，而不考虑[Consul]项目作为比较对象，原因为Consul的可靠性和稳定性还需要时间来验证（项目发起方自身服务并未使用Consul, 自己都不用)。
一致性协议： ETCD使用[Raft]协议， ZK使用ZAB（类PAXOS协议），前者容易理解，方便工程实现； 运维方面：ETCD方便运维，ZK难以运维； 项目活跃度：ETCD社区与开发活跃，ZK已经快死了； API：ETCD提供HTTP+JSON, gRPC接口，跨平台跨语言，ZK需要使用其客户端； 访问安全方面：ETCD支持HTTPS访问，ZK在这方面缺失；
ETCD的使用场景
和ZK类似，ETCD有很多使用场景，包括：
配置管理
ETCD读写性能
按照官网给出的[Benchmark], 在2CPU，1.8G内存，SSD磁盘这样的配置下，单节点的写性能可以达到16K QPS, 而先写后读也能达到12K QPS。这个性能还是相当可观的。
配置参数做些解释：
ETCD_NAME ：ETCD的节点名，在集群中应该保持唯一，可以使用 hostname。
ETCD_DATA_DIR：ETCD的数据存储目录，服务运行数据保存的路径，默认为 ${name}.etcd。
ETCD_SNAPSHOT_COUNTER：多少次的事务提交将触发一次快照，指定有多少事务（transaction）被提交时，触发截取快照保存到磁盘。
ETCD_HEARTBEAT_INTERVAL：ETCD节点之间心跳传输的间隔，单位毫秒，leader 多久发送一次心跳到 followers。默认值是 100ms。
ETCD_ELECTION_TIMEOUT：该节点参与选举的最大超时时间，单位毫秒，重新投票的超时时间，如果 follow 在该时间间隔没有收到心跳包，会触发重新投票，默认为 1000 ms。
ETCD_LISTEN_PEER_URLS：该节点与其他节点通信时所监听的地址列表，多个地址使用逗号隔开，其格式可以划分为scheme://IP:PORT，这里的scheme可以是http、https。和同伴通信的地址，比如 http://ip:2380 ，如果有多个，使用逗号分隔。需要所有节点都能够访问，所以不要使用 localhost。
ETCD_LISTEN_CLIENT_URLS：该节点与客户端通信时监听的地址列表，对外提供服务的地址：比如 http://ip:2379 ,http://127.0.0.1:2379 ，客户端会连接到这里和 etcd 交互
ETCD_INITIAL_ADVERTISE_PEER_URLS：该成员节点在整个集群中的通信地址列表，这个地址用来传输集群数据的地址。因此这个地址必须是可以连接集群中所有的成员的。该节点同伴监听地址，这个值会告诉集群中其他节点。
ETCD_INITIAL_CLUSTER：配置集群内部所有成员地址，其格式为：ETCD_NAME=ETCD_INITIAL_ADVERTISE_PEER_URLS，如果有多个使用逗号隔开，集群中所有节点的信息，格式为 node1=http://ip1:2380 ,node2=http://ip2:2380 ,…。注意：这里的 node1 是节点的 –name 指定的名字；后面的 ip1:2380 是 –initial-advertise-peer-urls 指定的值
ETCD_ADVERTISE_CLIENT_URLS：广播给集群中其他成员自己的客户端地址列表
ETCD_INITIAL_CLUSTER_STATE：新建集群的时候，这个值为new；假如已经存在的集群，这个值为 existing。
ETCD_INITIAL_CLUSTER_TOKEN:初始化集群token，创建集群的token，这个值每个集群保持唯一。这样的话，如果你要重新创建集群，即使配置和之前一样，也会再次生成新的集群和节点 uuid；否则会导致多个集群之间的冲突，造成未知的错误。
注意：所有ETCD_MY_FLAG的配置参数也可以通过命令行参数进行设置，但是命令行指定的参数优先级更高，同时存在时会覆盖环境变量对应的值。
配置例子
修改etcd配置文件,我这里的环境是在/etc/etcd/etcd.conf，请根据实际情况修改。 etcd0配置示例：
etcd1配置示例：
etcd2配置示例：
问题