stardom3645
commented
7 months ago Linux 환경에서의 Pacemaker와 Mold fence agent를 이용한 Mysql FailOver 구성
- 구성 환경
- Pacemaker 클러스터 구성
- shared disk를 활용한 Mysql 구성
- mold_fence agent 설치 및 stonith 구성
- mysql failover를 위한 pcs resource 구성
1. 구성 환경
- OS
- VM: Rokcy 9
- 네트워크
- VM1(lilo-ha1): 10.10.254.100
- VM2(lilo-ha2): 10.10.254.101
- VIP: 10.10.254.199
- Affinity 그룹
- host anti-affinity
2. Pacemaker 클러스터 구성
방화벽 해제
==== [VM1, VM2 실행]
firewall-cmd --permanent --zone=public --add-port=22/tcp
firewall-cmd --permanent --zone=public --add-service=high-availability
firewall-cmd --add-service=high-availabilitypacemaker 패키지 설치
==== [VM1, VM2 실행]
dnf -y upgrade
dnf -y config-manager --set-enabled crb
dnf -y install epel-release
dnf -y install https://rpms.remirepo.net/enterprise/remi-release-9.rpm
dnf --enablerepo=highavailability -y install pacemaker pcs fence-agents-all서비스 시작 및 등록
systemctl start pcsd
systemctl enable pcsd
systemctl enable corosync
systemctl enable pacemaker클러스터 계정 존재여부 확인
cat /etc/passwd |grep hacluster
passwd haclusterhosts 파일 변경
vi /etc/hosts
----------------------------------------------------
####Pacemaker Hearbeat IP####
10.10.254.100 lilo-ha1
10.10.254.101 lilo-ha2systemctl restart NetworkManagerPacemaker 클러스터 구성 및 시작
==== [VM1 실행]
pcs host auth lilo-ha1 lilo-ha2 -u hacluster -p Ablecloud1!
pcs cluster setup hacluster --start lilo-ha1 lilo-ha2==== [VM1, VM2 실행]
systemctl start pacemaker3. Shared disk를 활용한 Mysql 구성
==== [VM1, VM2 실행]
- Mold에서 Shared Disk를 구성합니다.
- 볼륨 파티션, 포멧, 마운트를 합니다.
fdisk /dev/sdb => n, 엔터, 엔터, 엔터, 엔터, 엔터, t, 8e, w
pvcreate /dev/sdb1 pvdisplay
vgcreate able /dev/sdb1 vgdisplay
lvcreate -l 100%FREE -n lv_data able lvdisplay
mkfs.xfs -f /dev/able/lv_data
#### lvm.conf 설정
==== [VM1, VM2 실행]
LVM-activate를 등록할 때 해당 system_id를 사용하기 때문에 /etc/lvm/lvm.conf 구성 파일에서 system_id_source 구성 옵션을 uname 으로 설정합니다.vi /etc/lvm/lvm.conf
system-id 확인vgs -o+systemid
### Mysql 설치 및 구성
==== [VM1, VM2 실행]
#### Mysql를 설치합니다.
* mysql 서비스는 enable 하지 않습니다. Mysql pcs resource에 의해 mysql이 실행됩니다.dnf install -y mysql-server
#### mysql을 구성합니다.mysqld --initialize --datadir=/mnt/share/mysql semanage fcontext -a -t mysqld_db_t "/mnt/share/mysql(/.*)?" restorecon -R -v /mnt/share/mysql chown -R mysql:mysql /mnt/share/mysql chmod -R 750 /mnt/share/mysql systemctl restart mysqld mysql -uroot -p ALTER USER 'root'@'localhost' IDENTIFIED BY 'Ablecloud1!'; FLUSH PRIVILEGES;
vi /etc/my.cnf.d/mysql-server.cnf
[mysqld] datadir=/mnt/share/mysql socket=/mnt/share/mysql/mysql.sock
[client] socket=/mnt/share/mysql/mysql.sock
## 4. mold_fence agent 설치 및 stonith 구성
- Mold Agent는 Mold와 통신이 가능한 구성에서 사용 가능합니다.
- Mold Agent의 fencing 처리 절차
1. Master node 장애 발생
2. Slave node에서 동작 중인 'fence-node1' stonith를 통해 Master node를 fencing 처리
1. delay 옵션 설정에 의해 fencing 처리 대기
2. Mold 상태 값 조회
3. 해당 VM 종료 명령
3. Master 에서 Slave node로 서비스 이관 (환경에 따라 20초~1분 정도 소요)
### Mold fence agent 설치
==== [VM1, VM2 실행]wget -P /root/ https://images.ablecloud.io/fence-mold-1.0-1.el9.x86_64.rpm rpm -Uvh /root/fence-mold-1.0-1.el9.x86_64.rpm --force
### PCS resource 등록
fencing 처리를 위한 stonith resource 구성
#### 각 노드에 fencing 처리를 위한 stonith를 생성하고 구성.
* 명령어 정보는 `fence_mold -h` 를 입력하여 확인
1) stonith 생성pcs stonith create fence-node1 fence_mold \ api_protocol="http" \ m_ip="10.10.1.10" \ m_port="8080" \ api_key="ew68uZifMjNXd6PbRUGtvVA98TnohwDc6R73-kq_tvI" \ secret_key="xrWdgQNJMoAzhtnJYl7-fGApjLxhz4GHqnuMrSbVn2E" \ vm_id="0d859221-87a6-428b-9516-f9727e22ec20" \ delay="15" pcmk_host_list="lilo-ha1" \ pcmk_reboot_action="off"
옵션 설명
delay: 펜싱 프로세스에서 오탐지를 유발할 수 있는 일시적인 문제로부터 시스템이 복구할 수 있는 시간을 제공하며 동시에 fencing되는 현상 방지
추가 옵션 (아래 기본 값으로 설정되어있음.)
m_total_timeout ="600"
m_interval = "10"
power off 시 mold mngt 서버 상태 값이 Up이 될 때까지 지정된 값 만큼 대기하고 fencing 처리. (기본값 -> 대기시간: 600초, 체크시도 횟수: 대기시간/10)
pcs stonith create fence-node2 fence_mold \ api_protocol="http" \ m_ip="10.10.1.10" \ m_port="8080" \ api_key="ew68uZifMjNXd6PbRUGtvVA98TnohwDc6R73-kq_tvI" \ secret_key="xrWdgQNJMoAzhtnJYl7-fGApjLxhz4GHqnuMrSbVn2E" \ vm_id="fb42b9ff-43c2-49b2-9641-1ca2c67e43f9" \ pcmk_host_list="lilo-ha2" \ pcmk_reboot_action="off"
* stonith 업데이트 방법
설정 요소 변경에 따른 업데이트 명령어는 다음과 같습니다.pcs stonith update my-stonith attribute1=value1 attribute2=value2
pcs stonith update fence-node1 api_key="3568uZifMjNXd6PSDFEsfdtvVA98TnohwDc6R73-kq_tvI" m_port="8443"
2) stonith 정책 설정
서로 다른 노드에서 실행되도록 설정pcs constraint location fence-node1 avoids lilo-ha1 pcs constraint location fence-node2 avoids lilo-ha2
기본 stonith 액션을 power off로 변경pcs property set stonith-action=off
## 5. Mysql Failover를 위한 pcs resource 구성
lvm, file system, mysql을 pcs resource로 등록하고 그룹화하여 한 Node에서만 실행되고 이동되도록 구성합니다.
* resource group은 등록 순서에 따라 실행됩니다.
#### LVM-activate resource 에이전트 등록pcs resource create LVM-activate vgname= vg_access_mode=system_id --group
pcs resource create cluster-vg ocf:heartbeat:LVM-activate vgname=able activation_mode=exclusive vg_access_mode=system_id --group test-grp
#### Filesystem resource 에이전트 등록pcs resource create Filesystem device="/dev//" directory="" fstype="xfs" --group
pcs resource create cluster-fs ocf:heartbeat:Filesystem device=/dev/able/lv_data directory=/mnt/share/ fstype=xfs --group test-grp
#### VIP resource 등록pcs resource create vip ipaddr2 ip=10.10.254.199 cidr_netmask=16 op monitor interval=10 --group test-grp pcs resource meta vip migration-threshold=1 pcs resource meta vip resource-stickiness=50
#### Mysql resource 에이전트 등록
* mysql은 systemctl service로 실행되는 것이 아닌, pcs agent에 의해 실행됩니다.pcs resource create mysql ocf:heartbeat:mysql binary="/usr/sbin/mysqld" config="/etc/my.cnf.d/mysql-server.cnf" datadir="/mnt/share/mysql" pid="/run/mysql/mysqld.pid" socket="/mnt/share/mysql/mysql.sock" op start timeout=60s op stop timeout=60s op monitor interval=20s timeout=30s --group test-grp
## 구성 완료된 pcs 상태 확인
Mold 용 Fencing Agent
개요
기존의 Fencing Agent를 ipmilan를 활용하였으며, 해당 Agent를 활용하기 위해서는 가상머신에 vbmc 디바이스를 연결 후 해당 가상머신이 운영중인 호스트에 VBMC 포트포워딩을 연결 해줘야 구성이 가능함
해당 방식을 이용할 경우 문제점은 아래와 같다
이와 같은 이유로 Mold에서 위 문제점을 해결 할 수 있는 Mold 용 Agent 를 개발을 진행 한다.
개발 방식
개발 완료 후 테스트 항목