Amoeba搭建Mysql集群(实现Mysql主从复制、读写分离、负载均衡)

MySQL 主从复制（Replication）

• Replication 可以实现将数据从一台数据库服务器（master）复制到一台或多台数据库服务器
  （slave）
• 默认情况下属于异步复制，无需维持长连接
• 通过配置，可以复制所有的库或者几个库，甚至库中的一些表
• 是 MySQL 内建的，本身自带的

Replication 的原理

简单的说就是 master 将数据库的改变写入二进制日志，slave 同步这些二进制日志，并根据这些二进制日志进行数据操作

• DML:SQL 操作语句，update, insert，delete
• Relay log :中继日志

Replication 的作用

• Fail Over 故障切换
• Backup Server 备份服务，无法对 SQL 语句执行产生的故障恢复，有限的备份
• High Performance 高性能，可以多台 slave,实现读写分离

Replication 工作原理

整体上来说，复制有 3 个步骤：
（1） master 将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件 ）
（2） slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
（3） slave 重做中继日志中的事件，修改 salve 上的数据。

MySQL 主从复制中：
第一步：master 记录二进制日志。在每个事务更新数据完成之前，master 在二进制日志记录这些改变。MySQL 将事务写入二进制日志，即使事务中的语句都是交叉执行的。在事件写入二进制日志完成后，master 通知存储引擎提交事务。

第二步：slave 将 master 的 binary log 拷贝到它自己的中继日志。首先，slave 开始一个工作线程—I/O线程。I/O 线程在master 上打开一个普通的连接，然后开始 binlog dump process。Binlog dumpprocess 从 master 的二进制日志中读取事件，如果已经执行完 master 产生的所有文件，它会睡眠并等待 master 产生新的事件。I/O 线程将这些事件写入中继日志。

第三步：SQL slave thread（SQL 从线程）处理该过程的最后一步。SQL 线程从中继日志读取事件，并重新执行其中的事件而更新 slave 的数据，使其与 master 中的数据一致。

Replication 常见方案

1．One master and Muti salve 一主多备

一般用来做读写分离的，master 写，其他 slave 读，这种架构最大问题 I/O 压力集中在 Master 上<多台同步影响 IO>

2．M-S-S

使用一台 slave 作为中继，分担 Master 的压力，slave 中继需要开启 bin-log,并配置log-slave-updates

Slave 中继可使用 Black-hole 存储引擎，不会把数据存储到磁盘，只记录二进制日志。

3．M-M 双主互备 (互为主从)

很多人误以为这样可以做到 MySQL 负载均衡，实际没什么好处，每个服务器需要做同样的同步更新，破坏了事物的隔离性和数据的一致性。

4．M-M-M

监控三台机器互相作对方的 master

天生的缺陷：复制延迟，slave 上同步要慢于 master，如果大并发的情况那延迟更严重mysql 在 5.6 已经自身可以实现 fail over 故障切换。

5、One slave Muti master 一从对多主

好处：节省成本，将多个 master 数据自动化整合
缺陷：对库和表数据的修改较多

Amoeba

Amoeba是什么？
Amoeba(变形虫)项目,该开源框架于2008年 开始发布一款 Amoeba for Mysql软件。这个软件致力于MySQL的分布式数据库前端代理层，它主要在应用层访问MySQL的时候充当SQL路由功能，专注于分布式数据库代理层（Database Proxy）开发，它位于与Client、DBServer(s)之间,对客户端透明。具有 负载均衡、高可用性、SQL过滤、读写分离、可路由相关的到目标数据库、可并发请求多台数据库合并结果 。

通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能，目前Amoeba已在很多 企业的生产线上面使用。

分布式数据库代理的相关概念

Amoeba在分布式数据库领域将致力解决数据切分，应付客户端“集中式”处理分布式数据。这里集中式是一个相对概念，客户端不需要知道某种数据的物理存储地。避免这种逻辑出现在业务端，大大简化了客户端操作分布式数据的复杂程度。

分布式数据库系统的优点

• 降低费用 。分布式数据库在地理上可以式分布的。其系统的结构符合这种分布的要求。允许用户在自己的本地录用、查询、维护等操作，实行局部控制，降低通信代价，避免集中式需要更高要求的硬件设备。而且分布式数据库在单台机器上面数据量较少，其响应速度明显提升。
• 提高系统整体可用性。避免了因为单台数据库的故障而造成全部瘫痪的后果。
• 易于扩展处理能力和系统规模。分布式数据库系统的结构可以很容易地扩展系统，在分布式数据库中增加一个新的节点，不影响现有系统的正常运行。这种方式比扩大集中式系统要灵活经济。在集中式系统中扩大系统和系统升级，由于有硬件不兼容和软件改变困难等缺点，升级的代价常常是昂贵和不可行的。

Amoeba不能做什么？

• 目前还不支持事务
• 暂时不支持存储过程（近期会支持）
• 不适合从amoeba导数据的场景或者对大数据量查询的query并不合适（比如一次请求返回10w以上甚至更多数据的场合）
• 暂时不支持分库分表，amoeba目前只做到分数据库实例，每个被切分的节点需要保持库表结构一致

实战案例(主从复制、读写分离、负载均衡)

有三个数据库节点分别命名为Master、Slave1、Slave2如下：

• Master： Master （只写）
• Slaves：Slave1、Slave2 （2个平等的数据库。只读/负载均衡） 案例实现Master、Slaves之间数据库主从复制、读写分离，负载均衡的高可用Mysql架构。

系统环境：

主机	操作系统	IP地址	软件包
amoeba服务器	CentOS 7.0 x86_64	192.168.180.130	jdk-6u14-linux-x64.bin、amoeba-mysql-binary-2.2.0.tar.gz
Master服务器	CentOS 7.0 x86_64	192.168.180.131	mysql-boost-5.7.20.tar.gz
Slave1服务器	CentOS 7.0 x86_64	192.168.180.132	mysql-boost-5.7.20.tar.gz
Slave2服务器	CentOS 7.0 x86_64	192.168.180.133	mysql-boost-5.7.20.tar.gz
客户端	CentOS 7.0 x86_64	192.168.180.129	mysql-boost-5.7.20.tar.gz

软件包:
jdk和amoeba软件包点我获取，提取码1128

开始部署：

一般情况下，我们的集群为内网环境，无法和外网进行联网同步时间，那么这里我们使Slaves服务器与Master服务器进行时间同步。

一 、Master服务器同步时间

配置节点：

Master服务器 ： 192.168.180.131

1.修改ntp.conf配置文件

vim /etc/ntp.conf                    
#修改NTP配置 
#添加到配置文件末尾                        
server 127.127.180.0							   
#设置本地是时钟源，注意修改网段      
fudge 127.127.180.0 stratum 8					
#设置时间层级为8（限制在15内）       

2.启动ntpd服务

service ntpd restart

3、关闭防火墙及selinux

systemctl stop firewalld
setenforce 0

二、mysql主从服务器

配置节点：

Master服务器 ： 192.168.180.131

1.修改my.cnf

vim /etc/my.cnf

server-id = 1 
#修改id号
log-bin=master-bin 
#新增，主服务器日志文件
log-slave-updates=true 
#新增，从服务器更新二进制日志

2.重启mysql服务

systemctl restart mysqld.service

3.登录mysql

mysql -uroot -p123456
#root是用户 123456是密码，第一次登陆mysql可以用mysqladmin -uroot -password '123456'设置密码

4.为Slaves从服务器同步创建用户

GRANT REPLICATION SLAVE ON *.* TO 'myslave'@'192.168.180.%' IDENTIFIED BY '123456';

5.以上修改直接生效

FLUSH PRIVILEGES;

6.查看master状态信息

show master status;

Slave1 从服务器配置

配置节点：

Slave1服务器 ： 192.168.180.132

1.修改my.cnf

vim /etc/my.cnf

server-id = 11 
#修改id号
relay-log=relay-log-bin 
#新增，从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index 
#新增，定义relay-log的位置和名称

2.重启mysql服务

systemctl restart mysqld.service

3.登录mysql

mysql -u root -p 123456

4.添加向主服务器同步数据命令

change master to master_host='192.168.180.131',master_user='myslave',         
master_password='123456',master_log_file='master-bin.000001',master_log_pos=0;

5.开启slave从服务器

start slave;

6、查看slave状态

show slave status\G;

注意：Slave_IO_Running和Slave_SQL_Running状态都为‘Yes’，复制状态正常。

Slave2从服务器配置

配置节点：

Slave1服务器 ： 192.168.180.133

1.修改my.cnf

vim /etc/my.cnf

server-id = 12 #修改id号
relay-log=relay-log-bin #新增，从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index #新增，定义relay-log的位置和名称

2.重启mysql服务

systemctl restart mysqld.service

3.登录mysql

mysql -u root -p123456

4、添加向主服务器同步数据命令

change master to master_host='192.168.180.131',master_user='myslave',         
master_password='123456',master_log_file='master-bin.000001',master_log_pos=0;

5.开启slave从服务器

start slave;

6.查看slave状态

show slave status\G;

7.验证主从同步

在Master主服务器上创建数据库：

Master服务器 ： 192.168.180.131

create database db_test;

分别查看Slave从服务器上数据库：

Slave1服务器 ： 192.168.180.132
Slave2服务器 ： 192.168.180.133

三、amoeba服务器

配置节点：

Amoeba服务器 ： 192.168.180.130

1.关闭防火墙及selinux

systemctl stop firewalld
setenforce 0

2、复制jdk包及安装

cp jdk-6u14-linux-x64.bin /usr/local/

chmod +777 jdk-6u14-linux-x64.bin

./jdk-6u14-linux-x64.bin

然后会有提示，然后需要你输入yes

3.修改jdk目录名称

mv jdk1.6.0_14/ /usr/local/jdk1.6

4.添加jdk、jre、amoeba环境变量

vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin/:$PATH:$HOME/bin
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin

5、刷新环境变量

source /etc/profile

6.创建amoeba目录

mkdir /usr/local/amoeba

7.解压amoeba软件包至/usr/local/amoeba目录下

tar zxvf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/

8.修改amoebab目录权限

chmod -R 755 /usr/local/amoeba/

9.验证amoeba是否安装成功

/usr/local/amoeba/bin/amoeba
#显示amoeba start|stop说明安装成功

10.分别在三台mysql上添加权限提供给amoeba访问

（这三台mysql都要执行同样的操作）

(1) 登录mysql

mysql -uroot -p123456

(2) 为amoeba授权访问

三台mysql都要操作，操作都一样

grant all on *.* to amoeba@'192.168.180.%' identified by '123456';
#三台都要操作，操作都一样

11.回到amoeba服务器，修改其配置文件

配置环境：

Amoeba服务器 ： 192.168.180.130

cd /usr/local/amoeba/conf

12.编辑amoeba.xml配置文件

vim amoeba.xml

#---30行--
<property name="user">amoeba</property> #访问amoeba的用户名
#----32行---------
<property name="password">123456</property> #密码
#---117行-去掉注释-
<property name="defaultPool">master</property> #默认为主服务器
<property name="writePool">master</property> #写入为主服务器
<property name="readPool">slaves</property> #读取为slaves池，现有slave1、slave2服务器

13.修改dbServers.xml配置文件

vi dbServers.xml

 26  <property name="user">amoeba</property>
 27
 28   <!--mysql password -->
 29   <property name="password">123456</property>

 43         </dbServer>
 44 
 45         <dbServer name="master"  parent="abstractServer">
 46                 <factoryConfig>
 47                         <!-- mysql ip -->
 48                         <property name="ipAddress">192.168.180.131</property>
 49                 </factoryConfig>
 50         </dbServer>
 51 
 52         <dbServer name="slave1"  parent="abstractServer">
 53                 <factoryConfig>
 54                         <!-- mysql ip -->
 55                         <property name="ipAddress">192.168.180.132</property>
 56                 </factoryConfig>
 57         </dbServer>
 58 
 59         <dbServer name="slave2"  parent="abstractServer">
 60                 <factoryConfig>
 61                         <!-- mysql ip -->
 62                         <property name="ipAddress">192.168.180.133</property>
 63                 </factoryConfig>
 64         </dbServer>
 65 
 66         <dbServer name="slaves" virtual="true">
 67                 <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
 68                         <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
 69                         <property name="loadbalance">1</property>
 70 
 71                         <!-- Separated by commas,such as: server1,server2,server1 -->
 72                         <property name="poolNames">slave1,slave2</property>
 73                 </poolConfig>
 74         </dbServer>

14.启动amoeba服务

/usr/local/amoeba/bin/amoeba start&

15.查看java服务

netstat -anpt | grep java
#查看8066端口是否开启，默认端口为TCP 8066

四、客户端

环境节点：

客户机：192.168.180.129

1、登录amoeba服务器

mysql -u amoeba -p123456 -h 192.168.180.130 -P8066

2.关闭防火墙及selinux

systemctl stop firewalld
setenforce 0

五、客户端测试访问

一、验证主从复制

1.在Master服务器上创建表

操作环境：

Master服务器 192.168.180.131

mysql -u root -p123456

create database db_test;
use db_test;
create table zang (id int(10),name varchar(10),address varchar(20));

2.Slave1服务器上：

刚才创建的表

3.Slave2服务器上：

刚才创建的表

二、验证读写分离

1.分别在两台Slave1、Slave2从服务器上关闭同步
操作环境：

Slave1服务器 192.168.180.132
Slave2服务器 192.168.180.133

stop slave;

两台都关掉

2.在客户端上插入记录，不会同步到从服务器

操作环境：

客户机 192.168.180.129

use db_test;
insert into zcy values('1','zhang','this_is_master');

3.Slave1从服务器上插入记录

操作环境：

Slave1服务器 192.168.180.132

use db_test;
insert into zang values('2','zheng','this_is_slave1');

4.Slave2从服务器上插入记录

操作环境：

Slave1服务器 192.168.180.133

use db_test;
insert into zang values('3','chen','this_is_slave2');

5.在客户端上测试----第一次会向从服务器Slave1 读数据-第二次会从服务器Slave2读取

#多次执行该sql语句查看

操作环境：

客户机 192.168.180.129

use db_test;
select * from zcy;

第一次会向从服务器Slave1 读数据-第二次会从服务器Slave2读取

三、验证负载均衡

在客户端上反复执行查询语句，已经轮询访问slave1、slave2服务器了