更新 Kubernetes EIP 导致某个 master 启动失败

[wnxn]

• 缺陷原因：在 reload-kubeadm-eip.sh 脚本执行至 29-39 行时，confd 刷新了 1-kubeadm-eip.yaml 文件，造成 第 8 行未更新 LB IP 地址，apiserver 证书生成失败，apiserver 启动失败。 https://github.com/QingCloudAppcenter/QKE/blob/a9227e215e9ccb5b134241011cabd1e638d0fd7f/script/reload-kubeadm-eip.sh#L29-L39 https://github.com/QingCloudAppcenter/QKE/blob/a9227e215e9ccb5b134241011cabd1e638d0fd7f/confd/templates/k8s/1-kubeadm-eip.yaml.tmpl#L8
• 解决办法：保证 reload-kubeadm-eip.sh 脚本执行至 29-39 行对于 1-kubeadm-eip.yaml 文件是个原子操作，即 1-kubeadm-eip.yaml 不能被其他程序改变。
• 线上恢复故障 master 办法：在出现问题的 master 手动执行https://github.com/QingCloudAppcenter/QKE/blob/master/script/reload-kubeadm-eip.sh 这个脚本，在 /etc/kubernetes/pki/apiserver.crt(keys) 文件生成，docker ps |grep apiserver 观察到 apiserver pod 启动即可。

[hlwanghl]

听起来是 confd 模板生成文件的先后顺序问题是吧？

[wnxn]

是的，3master情况下偶尔出现

[hlwanghl]

好的，confd 模板现在合并成一个大文件了，只执行一次了。