MySQL复制原理,其通过三个线程来完成,在master节点上运行的binlogdump线程以及在slave节点上运行的I/O线程和SQL线程。
1. master节点上的binlogdump线程,在slave与其正常连接的情况下,将binlog发送到slave上。
2.slave节点上的I/O线程,通过读取master节点发送的内容,并将数据复制到本地的relaylog中。
3.slave节点上的SQL线程,读取relaylog中的日志,并将其事务在本地执行。
一、异步复制:
在主节点上执行完命令之后生成一个日志文件,然后将日志文件发送给从节点,最后提交,从节点收到日志文件后,开始同步里面的数据(事物),最后得到与主节点一致的数据
环境:rhel6.5
两台主机:server1:master
server2:slave
1) 在两台主机上安装服务
在server1上(master)
tar xf mysql-5.7.17-1.el6.x86_64.rpm-bundle.tar ##解压安装包
yum install -y mysql-community-client-5.7.17-1.el6.x86_64.rpm
mysql-community-common-5.7.17-1.el6.x86_64.rpm
mysql-community-libs-5.7.17-1.el6.x86_64.rpm
mysql-community-libs-compat-5.7.17-1.el6.x86_64.rpm
mysql-community-server-5.7.17-1.el6.x86_64.rpm
scp mysql-community-client-5.7.17-1.el6.x86_64.rpm mysql-community-common-5.7.17-1.el6.x86_64.rpm mysql-community-libs-5.7.17-1.el6.x86_64.rpm mysql-community-libs-compat-5.7.17-1.el6.x86_64.rpm mysql-community-server-5.7.17-1.el6.x86_64.rpm server2:/root
在server1上(master)
vim /etc/my.cnf
写入:server-id=1
log-bin=mysql-bin
/etc/init.d/mysqld start ###打开数据库
grep password /var/log/mysqld.log ###查看日志,l里面有数据库初始密码
mysql_secure_installation ###进行数据库初始化
mysql -p
mysql> grant replication slave on . to xbw@’172.25.3.%’ identified by ‘Xubowen+007’;
在server2上(slave)
查看授权是否成功
vim /etc/my.cnf
写入:server-id=2
/etc/init.d/mysqld start
grep password /var/log/mysqld.log ##查看日志,看初始化密码
mysql_secure_installation ###进行数据库初始化
mysql -p ###登陆即可,密码为你设定的密码
在master中:
mysql> show master status;
在slave中:
mysql> start slave;
mysql> show slave status\G;
这两个参数都为yes就证明成功了
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
测试:
在master中:
mysql> create database test;
mysql> use test;
mysql> create table userlist(
-> username varchar(15) not null,
-> password varchar(25) not null);
mysql> desc userlist;
+----------+-------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+----------+-------------+------+-----+---------+-------+
| username | varchar(15) | NO | | NULL | |
| password | varchar(25) | NO | | NULL | |
+----------+-------------+------+-----+---------+-------+
mysql> insert into userlist values ('user1','123');
mysql> insert into userlist values ('user2','456');
mysql> insert into userlist values ('user3','789');
在slave中:
mysql> use test;
mysql> select * from userlist;
二、基于GTID模式
1.概念:GTID(Global Transaction Identifier)称为全局事务标示符,
是由mysql服务器自动管理的在原始master上提交事务时被创建。
GTID需要在全局的主-备拓扑结构 中保持唯一性,每一个 GTID 代表一个数据库事务。
GTID由两部分组成:
GTID = source_id:transaction_id
source_id: 用于标示源服务器,用server_uuid来表示
transaction_id: 则是根据在源服务器上第几个提交的事务来确定。
transaction_id 是一个从 1 开始的自增计数,表示在这个主库上执行的第 n 个事务。
MySQL 会保证事务与 GTID 之间的 1 : 1 映射。
工作原理:前面在slave端配置,进行change master to操作时,
使用的是日志号(指定position),当master端的服务down掉了,
就会在slave端选择一个日志号与原来的master最接 近的作为master,
但是,在另一个slave上,并没有指定新的master的信息,
因此还要手动去指定,而使用gtid的话,slave通过寻找 next的值,
并不用指定master的二进制日志文件和日志号,所以使用gtid更能保证数据的完整性。
在master:中
vim /etc/my.cnf ##开启gtid模式
gtid_mode=ON
enforce-gtid-consistency=true
/etc/init.d/mysqld restart ###重启mysql
在slave中:
vim /etc/my.cnf ##开启gtid模式
gtid_mode=ON
enforce-gtid-consistency=true
/etc/init.d/mysqld restart
mysql> stop slave;
mysql>change master to master_host='172.25.70.1',master_user='xbw',master_password='Xubowen+007',MASTER_AUTO_POSITION=1;
mysql> start slave;
mysql> show slave status\G;
测试
在master中:
mysql> use test;
mysql> show tables;
mysql> delete from userlist where username='user3';
在slave中:
mysql> use test;
mysql> select * from userlist;
三、半同步复制配置
MySQL默认的复制即是异步的,主库在执行完客户端提交的事务后会立即将结果返给给客户端,并不关心从库是否已经接收并处理,这样就会有一个问题,主如果crash掉了,此时主上已经提交的事务可能并没有传到从上,如果此时,强行将从提升为主,可能导致新主上的数据不完整。
指当主库执行完一个事务,所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回,所以全同步复制的性能必然会收到严重的影响。
介于异步复制和全同步复制之间,主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制,半同步复制提高了数据的安全性,同时它也造成了一定程度的延迟,这个延迟最少是一个TCP/IP往返的时间。所以,半同步复制最好在低延时的网络中使用。
在master中:
mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';
mysql> set global rpl_semi_sync_master_enabled=1;
mysql> show variables like '%semi_sync%';
从节点(slave):
mysql> INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';
mysql> set global rpl_semi_sync_slave_enabled=1;
mysql> stop slave io_thread;
mysql> start slave io_thread;
mysql> show global variables like '%semi%';
插入检测:
在master中:
mysql> use test;
mysql> insert into userlist values ('user3','123');
mysql> show status like '%semi_sync%';
Rpl_semi_sync_master_yes_tx ##使用半同步成功的次数,数据一致性性能提高
Rpl_semi_sync_master_no_tx
####使用半同步失败的次数,10s后没有得到反馈信息,会转为异步复制
将slave的半同步关掉,进行插入测试:
在slave中:
mysql> set global rpl_semi_sync_slave_enabled=OFF; ###将半同步设置为关闭
mysql> stop slave io_thread;
mysql> start slave io_thread;
mysql> show global variables like '%semi%';
在master中:
当把从机的I/O线程关闭后,主数据库在进行对复制数据库的库进行更改时,在进行操作会等待10秒,增加了一次半同步传输的失败次数。
mysql> insert into userlist values ('user4','666');
Query OK, 1 row affected (10.31 sec)
#本次插入花费了十秒,因为异步复制有十秒等待slave发送ack的时间.
mysql> show global status like '%semi%';
+--------------------------------------------+-------+
| Variable_name | Value |
+--------------------------------------------+-------+
| Rpl_semi_sync_master_clients | 0 |
| Rpl_semi_sync_master_net_avg_wait_time | 0 |
| Rpl_semi_sync_master_net_wait_time | 0 |
| Rpl_semi_sync_master_net_waits | 1 |
| Rpl_semi_sync_master_no_times | 1 |
| Rpl_semi_sync_master_no_tx | 1 |
| Rpl_semi_sync_master_status | OFF |
| Rpl_semi_sync_master_timefunc_failures | 0 |
| Rpl_semi_sync_master_tx_avg_wait_time | 4393 |
| Rpl_semi_sync_master_tx_wait_time | 4393 |
| Rpl_semi_sync_master_tx_waits | 1 |
| Rpl_semi_sync_master_wait_pos_backtraverse | 0 |
| Rpl_semi_sync_master_wait_sessions | 0 |
| Rpl_semi_sync_master_yes_tx | 1 |
+--------------------------------------------+-------+
14 rows in set (0.00 sec)