MHA数据库高可用搭建

编程语言 2022-06-12 14:19:05 阅读次数: 0

文章目录

一、什么是MHA

  1. MHA（MasterHigh Availability）是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。
  2. MHA 的出现就是解决MySQL 单点的问题。
  3. MySQL故障切换过程中，MHA能做到0-30秒内自动完成故障切换操作。
  4. MHA能在故障切换的过程中最大程度上保证数据的一致性，以达到真正意义上的高可用。

二、MHA的组成

  • MHA Node（数据节点）
    MHA Node 运行在每台 MySQL 服务器上。

  • MHA Manager（管理节点）
    MHA Manager 可以单独部署在一台独立的机器上，管理多个 master-slave 集群；也可以部署在一台 slave 节点上。
    MHA Manager 会定时探测集群中的 master 节点。当 master 出现故障时，它可以自动将最新数据的 slave 提升为新的 master， 然后将所有其他的 slave 重新指向新的 master。整个故障转移过程对应用程序完全透明。

三、MHA 的特点

  1. 自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据不丢失
  2. 使用半同步复制，可以大大降低数据丢失的风险，如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性
  3. 目前MHA支持一主多从架构，最少三台服务，即一主两从

四、MHA实验

4.1 MHA架构图

在这里插入图片描述

4.2 实验实施思路

  1. 各节点数据库的安装
  2. 主从复制搭建
  3. MHA高可用搭建
  4. 故障模拟
    • 主库失效
    • 备选主库成为主库
    • 原故障主库恢复重新加入到MHA成为从库

4.3 实验环境

服务器 操作系统 主机名 IP地址 所需服务及工具
MHA manager服务器 centos 7 manager 192.168.41.46 MHA node和manager组件
Master服务器 centos 7 mysql1 192.168.41.47 MHA node和mysql5.7
slave1服务器 centos 7 mysql2 192.168.41.48 MHA node和mysql5.7
salve2服务器 centos 7 mysql2 192.168.41.71 MHA node和mysql5.7

4.4 实验步骤

1.初始化环境

systemctl stop firewalld && setenforce 0   #所有服务器执行
hostnamectl set-hostname mysql1 && su   #master服务器修改主机名为mysql1
hostnamectl set-hostname mysql2 && su   #mslave1服务器修改主机名为mysql2
hostnamectl set-hostname mysql3 && su   #slave2服务器修改主机名为mysql3
vim /etc/hosts   #mysql服务器执行，修改hosts文件，添加ip映射
192.168.41.47 mysql1
192.168.41.48 mysql2
192.168.41.71 mysql3

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. 主从搭建

-------------------------master------------------------
vim /etc/my.cnf   #修改数据库配置文件
[mysqld]          #在mysqld模块下修改添加配置
server-id = 11    #三台mysql服务器的server-id不能一样，值可以随便设
log_bin = master-bin   #开启二进制日志，定义名称为master-bin
log-slave-updates = true   #允许slave服务器同步二进制日志
systemctl restart mysqld   #重启服务

-----------------------slave1------------------------------
vim /etc/my.cnf
server-id = 22 
log_bin = master-bin
relay-log = relay-log-bin   #slave服务器都要开启中继日志，定义中继日志名称为relay-log-bin
relay-log-index = slave-relay-bin.index   #slave服务器都要开启中继日志索引，定义中继日志索引名称为名称为relay-log-bin.index
systemctl restart mysqld   #重启服务

-----------------------slave2------------------------------
vim /etc/my.cnf
server-id = 33 
log_bin = master-bin
relay-log = relay-log-bin   #slave服务器都要开启中继日志，定义中继日志名称为relay-log-bin
relay-log-index = slave-relay-bin.index   #slave服务器都要开启中继日志索引，定义中继日志索引名称为名称为relay-log-bin.index
systemctl restart mysqld   #重启服务

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

-----------------------优化文件路径-------------------------
在 Master、Slave1、Slave2节点上都创建两个软链接
ln -s /usr/local/mysql/bin/mysql /usr/sbin/
ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

在这里插入图片描述

------------配置mysql主从复制（1主2从）--------------
1.所有数据库节点进行 mysql 授权
mysql -uroot -pXXXXXX   #登录数据库
grant replication slave on *.* to 'myslave'@'192.168.41.%' identified by '123456';		#从数据库同步使用
grant all privileges on *.* to 'mha'@'192.168.41.%' identified by 'manager';		    #manager使用
grant all privileges on *.* to 'mha'@'mysql1' identified by 'manager';				    #防止从库通过主机名连接不上主库（hosts文件的作用，IP映射）
grant all privileges on *.* to 'mha'@'mysql2' identified by 'manager';
grant all privileges on *.* to 'mha'@'mysql3' identified by 'manager';
flush privileges;

2.在 Master节点查看二进制文件和同步点
show master status;
记录FILE字段和Position字段的值

3.在 Slave1、Slave2节点执行同步操作
change master to
master_host='192.168.41.47',
master_user='myslave',
master_password='123456',
master_log_file='master-bin.000001',
master_log_pos=2811;   
---------------------------------------------
master_host='192.168.41.47',   #master的IP
master_user='myslave',         #授权从数据库同步的用户
master_password='123456',      #授权从数据库同步的密码
master_log_file='master-bin.000001',            #show master status的File字段的值，该参数为master产生的二进制日志
master_log_pos=2811;               #show master status的Position字段的值，该参数为master的二进制日志的偏移量
---------------------------------------------- 
start slave;   #开启同步

4.在 Slave1、Slave2节点查看数据同步结果
show slave status\G		#查看slave服务器的状态
Slave_IO_Running: Yes   #IO线程为YES
Slave_SQL_Running: Yes  #SQL线程为YES
如果IO线程为NO，则重启IO线程：
stop slave io_thread   #关闭io线程
start slave io_thread   #开启io线程
如果重启过后还为NO，建议检查网络状态、配置文件、防火墙及selinux设置，都准确无误，建议重来

5.两个从库必须设置为只读模式：
set global read_only=1;

6.插入数据测试数据库同步
Master插入条数据，测试是否同步
create database test_db;
use test_db;
create table test(id int);
insert into test(id) values (1);
slaves查看
show databases;
show tables from test_db;
select * from test_db.test;

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

3.MHA配置

---------------------安装MHA软件----------------------
1.所有服务器上都安装MHA依赖的环境，首先安装epel源
yum install epel-release --nogpgcheck -y   #--nogpgcheck，不进行gpg检查

yum install -y perl-DBD-MySQL \
perl-Config-Tiny \
perl-Log-Dispatch \
perl-Parallel-ForkManager \
perl-ExtUtils-CBuilder \
perl-ExtUtils-MakeMaker \
perl-CPAN

2.安装 MHA 软件包，先在所有服务器上必须先安装node组件

对于每个操作系统版本不一样，这里CentOS7.4 必须选择0.57版本。

在所有服务器上必须先安装node组件，最后在MHA-manager节点上安装manager组件，因为manager依赖node组件。

上传mha4mysql-node-0.57安装包至所有服务器的opt目录
cd /opt
tar zxvf mha4mysql-node-0.57.tar.gz
cd mha4mysql-node-0.57/
perl Makefile.PL
make && make install

3.在MHA manager节点上安装manager组件
上传mha4mysql-manager-0.57安装包至manager服务器的opt目录
cd /opt
tar zxvf mha4mysql-manager-0.57.tar.gz
cd mha4mysql-manager-0.57
perl Makefile.PL
make && make install
-------------------------------------------------------
#manager组件安装后在/usr/local/bin下面会生成几个工具，主要包括以下几个
masterha_check_ssh：检查 MHA 的 SSH 配置状况
masterha_check_repl：检查MySQL复制状况
masterha_manger：启动manager的脚本
masterha_check_status：检测当前 MHA 运行状态
masterha_master_monitor：检测 master 是否宕机
masterha_master_switch：控制故障转移（自动或者手动）
masterha_conf_host：添加或删除配置的 server 信息
masterha_stop：关闭manager

#node组件安装后也会在/usr/local/bin下面会生成几个脚本（这些工具通常由 MHAManager 的脚本触发，无需人为操作）主要如下：
save_binary_logs：保存和复制master的二进制日志
apply_diff_relay_logs：识别差异的中继日志事件并将其差异的事件应用于其他的slave
filter_mysqlbinlog：去除不必要的ROLLBACK事件（MHA已不再使用这个工具）
purge_relay_logs：清除中继日志（不会阻塞SQL线程）
-------------------------------------------------------

所有服务器安装node：
在这里插入图片描述
在这里插入图片描述
manager服务器安装manager组件：
在这里插入图片描述

----------------在所有服务器上配置无密码认证------------------
1.在manager节点上配置到所有数据库节点的无密码认证
ssh-keygen -t rsa 				#一路按回车键
ssh-copy-id 192.168.41.47
ssh-copy-id 192.168.41.48
ssh-copy-id 192.168.41.71

2.在mysql1上配置到数据库节点mysql2和mysql3的无密码认证
ssh-keygen -t rsa
ssh-copy-id 192.168.41.48
ssh-copy-id 192.168.41.71

3.在mysql2上配置到数据库节点mysql1和mysql3的无密码认证
ssh-keygen -t rsa
ssh-copy-id 192.168.41.47
ssh-copy-id 192.168.41.71

4.在mysql3上配置到数据库节点mysql1和mysql2的无密码认证
ssh-keygen -t rsa
ssh-copy-id 192.168.41.47
ssh-copy-id 192.168.41.48

manager：
在这里插入图片描述
在这里插入图片描述

mysql1：
在这里插入图片描述
mysql2：
在这里插入图片描述
mysql3：
在这里插入图片描述

----------------manager节点配置MHA-----------------------
1.在manager节点上复制相关脚本到/usr/local/bin 目录
cp -rp /opt/mha4mysql-manager-0.57/samples/scripts /usr/local/bin
#拷贝后会有四个执行文件
ll /usr/local/bin/scripts/
--------------------------------------------------------------
master_ip_failover  		#自动切换时vip管理的脚本
master_ip_online_change 	#在线切换时vip的管理
power_manager 				#故障发生后关闭主机的脚本
send_report 				#因故障切换后发送报警的脚本
----------------------------------------------------------------------------------------------------------

2.复制上述的自动切换时VIP管理的脚本到/usr/local/bin目录，这里使用master_ip_failover脚本来管理VIP和故障切换
cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin

3.修改内容如下：（删除原有内容，直接复制并修改vip相关参数。可在拷贝前输入 :set paste 解决vim粘贴乱序问题）
vim /usr/local/bin/master_ip_failover
#!/usr/bin/env perl
use strict;
use warnings FATAL => 'all';

use Getopt::Long;

my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
-----------------------添加内容部分-------------------------
my $vip = '192.168.41.100';								#指定vip的地址
my $brdc = '192.168.41.255';							#指定vip的广播地址
my $ifdev = 'ens33';										#指定vip绑定的网卡
my $key = '1';												#指定vip绑定的虚拟网卡序列号
my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";		#代表此变量值为ifconfig ens33:1 192.168.41.100
my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";		#代表此变量值为ifconfig ens33:1 192.168.41.100 down
my $exit_code = 0;											#指定退出状态码为0
#my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
#my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
----------------------------------------------------------
GetOptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
);

exit &main();

sub main {
    
    

print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";

if ( $command eq "stop" || $command eq "stopssh" ) {
    
    

my $exit_code = 1;
eval {
    
    
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
    
    
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {
    
    

my $exit_code = 10;
eval {
    
    
print "Enabling the VIP - $vip on the new master - $new_master_host \n";
&start_vip();
$exit_code = 0;
};
if ($@) {
    
    
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
    
    
print "Checking the Status of the script.. OK \n";
exit 0;
}
else {
    
    
&usage();
exit 1;
}
}
sub start_vip() {
    
    
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
## A simple system call that disable the VIP on the old_master
sub stop_vip() {
    
    
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}

sub usage {
    
    
print
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}

4.创建MHA软件目录并拷贝配置文件，这里使用app1.cnf配置文件来管理mysql节点服务器
mkdir /etc/masterha
cp /opt/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha
vim /etc/masterha/app1.cnf  #删除原有内容，直接复制并修改节点服务器的IP地址
[server default]
manager_log=/var/log/masterha/app1/manager.log
manager_workdir=/var/log/masterha/app1
master_binlog_dir=/usr/local/mysql/data
master_ip_failover_script=/usr/local/bin/master_ip_failover
master_ip_online_change_script=/usr/local/bin/master_ip_online_change
password=manager
ping_interval=1
remote_workdir=/tmp
repl_password=123456
repl_user=myslave
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.41.48 -s 192.168.41.71
shutdown_script=""
ssh_user=root
user=mha

[server1]
hostname=192.168.41.47
port=3306

[server2]
candidate_master=1
check_repl_delay=0
hostname=192.168.41.48
port=3306

[server3]
hostname=192.168.41.71
port=3306

------------------------配置解析-----------------------------
[server default]
manager_log=/var/log/masterha/app1/manager.log　　　　　　#manager日志
manager_workdir=/var/log/masterha/app1　　　　　　　　    #manager工作目录
master_binlog_dir=/usr/local/mysql/data/　　　　　　　　　#master保存binlog的位置，这里的路径要与master里配置的binlog的路径一致，以便MHA能找到
master_ip_failover_script=/usr/local/bin/master_ip_failover　　#设置自动failover时候的切换脚本，也就是上面的那个脚本
master_ip_online_change_script=/usr/local/bin/master_ip_online_change　　#设置手动切换时候的切换脚本
password=manager			#设置mysql用户的密码，这个密码是前文中数据库创建监控用户的那个密码，grant那里
ping_interval=1				#设置监控主库，发送ping包的时间间隔，默认是3秒，尝试三次没有回应的时候自动进行failover
remote_workdir=/tmp			#设置远端mysql在发生切换时binlog的保存位置
repl_password=123456        #设置复制用户的密码
repl_user=myslave			#设置复制用户的用户
report_script=/usr/local/send_report　　　　　#设置发生切换后发送的报警的脚本
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.80.11 -s 192.168.80.12	#指定检查的从服务器IP地址
shutdown_script=""			#设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机防止发生脑裂,这里没有使用）
ssh_user=root				#设置ssh的登录用户名
user=mha					#设置mysql用户

[server1]
hostname=192.168.41.47
port=3306

[server2]
hostname=192.168.41.48
port=3306
candidate_master=1
#设置为候选master，设置该参数以后，发生主从切换以后将会将此从库提升为主库，即使这个从库不是集群中最新的slave

check_repl_delay=0
#默认情况下如果一个slave落后master 超过100M的relay logs的话，MHA将不会选择该slave作为一个新的master， 因为对于这个slave的恢复需要花费很长时间；通过设置check_repl_delay=0，MHA触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master

[server3]
hostname=192.168.41.71
port=3306

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

-------------------开启虚拟IP----------------------
第一次配置需要在master节点上手动开启vip
/sbin/ifconfig ens33:1 192.168.41.100/24

在这里插入图片描述

 ---------------manager测试ssh无密码认证----------------
masterha_check_ssh -conf=/etc/masterha/app1.cnf
All SSH connection tests passed successfully.
#出现All SSH connection tests passed successfully字段表示正常

在这里插入图片描述

----------------------manager测试主从连接-------------------
masterha_check_repl -conf=/etc/masterha/app1.cnf
MySQL Replication Health is OK
#出现MySQL Replication Health is OK 字段说明正常

在这里插入图片描述

-------------------manager启动MHA------------------------
nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &
------------------------参数解释-----------------------
--remove_dead_master_conf：该参数代表当发生主从切换后，老的主库的ip将会从配置文件中移除
--manger_log：日志存放位置
--ignore_last_failover：在缺省情况下，如果MHA检测到连续发生宕机，且两次宕机间隔不足8小时的话，则不会进行Failover， 之所以这样限制是为了避免ping-pong效应。该参数代表忽略上次MHA触发切换产生的文件，默认情况下，MHA发生切换后会在app1.failover.complete日志文件中记录，下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换， 除非在第一次切换后删除该文件，为了方便，这里设置为--ignore_last_failover。
----------------------------------------------------
使用&后台运行程序：结果会输出到终端；使用Ctrl+C发送SIGINT信号，程序免疫；关闭session发送SIGHUP信号，程序关闭。

使用nohup运行程序：结果默认会输出到nohup.out；使用Ctrl+C发送SIGINT信号，程序关闭；关闭session发送SIGHUP信号，程序免疫。

使用nohup和&配合来启动程序nohup ./test &：同时免疫SIGINT和SIGHUP信号。
----------------------------------------------------

------------------------查看MHA状态------------------------
masterha_check_status --conf=/etc/masterha/app1.cnf
可以看到当前的master是mysql1节点

-----------------------查看MHA日志-------------------------
cat /var/log/masterha/app1/manager.log | grep "current master"
可以看到当前的master是192.168.41.47

ifconfig   
#查看Mysql1的vip地址192.168.41.100 是否存在，这个vip地址不会因为manager节点停止MHA服务而消失

masterha_stop --conf=/etc/masterha/app1.cnf
#关闭manager服务，或者可以直接采用kill 进程ID的方式关闭

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

---------------------故障模拟--------------------------
tail -f /var/log/masterha/app1/manager.log
#在manager节点上监控观察日志记录

systemctl stop mysqld
#在Master节点Mysql1上停止mysql服务

ifconfig
#正常自动切换一次后，MHA进程会退出。MHA会自动修改app1.cnf文件内容，将宕机的mysql1节点删除。查看mysql2是否接管vip

故障切换备选主库的算法：
1．一般判断从库的是从（position/GTID）判断优劣，数据有差异，最接近于master的slave，成为备选主。
2．数据一致的情况下，按照配置文件顺序，选择备选主库。
3．设定有权重（candidate_master=1），按照权重强制指定备选主。
（1）默认情况下如果一个slave落后master 100M的relay logs的话，即使有权重，也会失效。
（2）如果check_repl_delay=0的话，即使落后很多日志，也强制选择其为备选主。

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

-------------------故障修复--------------------
1.修复mysql
systemctl restart mysqld

2．修复主从
#在现主库服务器Mysql2查看二进制文件和同步点
show master status;

#在原主库服务器 mysql1执行同步操作
change master to master_host='192.168.41.48',master_user='myslave',master_password='123456',master_log_file='master-bin.000001',master_log_pos=2042;
start slave;   #如果失败，先执行reset slave;

3．在 manager 节点上修改配置文件app1.cnf（再把这个记录添加进去，因为它检测掉失效时候会自动消失）
vi /etc/masterha/app1.cnf
......
secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.41.47 -s 192.168.41.71
......
[server1]
hostname=192.168.41.48
port=3306

[server2]
candidate_master=1
check_repl_delay=0
hostname=192.168.41.47
port=3306

[server3]
hostname=192.168.41.71
port=3306

4．在 manager节点上启动MHA
nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

#解决中英字不兼容报错的问题
dos2unix /usr/local/bin/master_ip_failover

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

总结

  1. MHA的配置过程
  2. MHA的原理
  3. 配置的时候一定细心再细心，因为操作很多，而且一不注意就会配错ip
  4. manager和master、slave服务器的联系
  5. manager和node组件的联系

猜你喜欢

转载自blog.csdn.net/qq_40707090/article/details/125249577
今日推荐
国产云输入法——仅华为无云端数据上传安全问题
开源日报 | 工业开源项目OGG 1.0；姐姐，你要和我一起配置火狐吗；苹果AI遥遥落后？Fedora 40
开放签电子签章：停止新增，优化体验，前进更进（五一假期前工作）
开源日报 | 中学生开源前端动画引擎；全球首个Llama3 8B中文版开源模型；联想电脑恐出局；Linus讽刺AI炒作
“百模大战”必有一战 | 2024中国“百模大战”竞争格局分析
最强开源大模型 Llama 3 上架 Gitee AI
周排行
自媒体文章如何提高原创度以及如何检测原创度
开启qq邮箱的smtp服务
Qt程序单次启动（QSingleApplication类）
国外的外包网站
更新IDEA主题——放飞代码风格
cocos2dx 实现搓牌效果（翻牌效果），包括铺平动画
dict和json之间的互相转换
angular的一些思考
. Fibonacci数列是这样定义的： F[0] = 0 F[1] = 1 for each i ≥ 2: F[i] = F[i-1] + F[i-2] 因此，Fibonacci数列就形如：0, 1
洛谷P1064 金明的预算方案
每日归档
更多
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)
2024-04-21(0)
2024-04-20(6)
2024-04-19(5)
2024-04-18(0)
2024-04-17(5)
2024-04-16(70)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022