看了这篇文章觉得MySQL读写分离这么简单

企业开发 2020-04-03 10:19:34 阅读次数: 0

点赞多大胆，就有多大产!有支持才有动力！微信搜索公众号【达摩克利斯之笔】获取更多资源，文末有二维码！

前言

​  Mysql优化那篇文章有朋友留言说就这么点？，深深刺痛了晓添的心，感觉知识深度被小看了，痛定思痛决定发布读写分离，分表分库优化文章，其实这系列文章也在Mysql优化的计划之内，最近较忙断断续续写的有点难受，到今天才跟大家见面，篇幅有限这篇我们来说说基于Mycat实现读写分离，话不多说我们赶紧看看好好的数据库又闹腾什么呢？

闹腾

​  软件系统就跟女朋友一样，一不小心就有可能把自己弄伤，笨得要死，需要小心呵护，预想可能遇到什么问题，提前帮她解决掉(感觉有点油腻，还是正常点吧)，这不我们的MySQL数据库又出现问题了，听我给大家娓娓道来
在这里插入图片描述

问题

​  如上图我们的应用程序和MySQL数据库直连，数据库的配置信息是写在我们的应用配置文件中（脑子里要闪现出项目中的数据库配置），数据库只有一个实例来提供服务，之后我们的项目要发布到网络上提供服务，如果网站推广做的好就会有越来越多的用户使用，访问量就会很大，App可以通过nginx负载均衡等，我们的数据库还是单机在卖命？压力就会很大，一旦数据库宕机就GG了逆风翻盘已不存在，垃圾软件卸载了解一下，所有的数据都存储在一个数据库中或者一个表中，数据越来越多怎么办？单表数据超过几百万条，几千万条上亿条怎么维护？等等总结几点如下

  • 应用程序直连数据库，耦合性高
  • 用户并发高，数据库压力大，无论读还是写没有明确划分
  • 数据库单实例运行是肯定不行的
  • 表中数据越来越多怎么维护等等

解决方案

​  通过上边问题相信大家可以看出本质，我们可以部署多台MySQL搭建集群，配置读和写操作不同的数据库，数据进行拆分，存储在多张表中，应用程序与数据库降低耦合，添加中间件，总结几点如下

  • 添加数据库中间件降低耦合
  • 读写分离，提高数据库响应速度
  • 数据库分表分库，更好维护数据
    在这里插入图片描述

上边我们说到数据库会出现什么问题以及解决的思想，就是使用数据库中间件（MyCat）来做读写分离，分表分库等，下边我们就说说如何具体使用！

数据库中间件

什么时候使用中间件

​  随着业务的发展，数据库里的表越来越大，一两年以后，2千万、甚至上亿记录的表就会出现了（一般可以简单认为表比较复杂的时候，MySQL几百万上千万的时候，Oracle几千万的时候，就会出现复杂查询或变更有性能问题），这时候可能会导致复杂的查询慢，插入和修改数据慢，修改表的DDL执行太慢导致无法修改列类型或者加索引或者加字段等等。怎么办呢？这时候我们就可以读写分离，分表分库
  如果我们的业务发展到了需要降低单库单表的压力、或者读写分离，而研发团队又不大，自己对这一块的技术积累不足以自己开发一些中间层代码去搞定问题，就需要考虑引入数据中间件了。

常用中间件

引自：https://blog.csdn.net/w892824196/article/details/82660415

img

  • Cobar:
      阿里巴巴B2B开发的关系型分布式系统，管理将近3000个MySQL实例。 在阿里经受住了考验，后面由于作者的走开的原因cobar没有人维护 了，阿里也开发了tddl替代cobar。
  • Mycat:
      社区爱好者在阿里cobar基础上进行二次开发，解决了cobar当时存 在的一些问题，并且加入了许多新的功能在其中。目前MyCAT社区活 跃度很高，目前已经有一些公司在使用MyCAT。总体来说支持度比 较高，也会一直维护下去，
  • OneProxy:
      数据库界大牛，前支付宝数据库团队领导楼总开发，基于mysql官方 的proxy思想利用c进行开发的，OneProxy是一款商业收费的中间件， 楼总舍去了一些功能点，专注在性能和稳定性上。有朋友测试过说在 高并发下很稳定。
  • Vitess:
      这个中间件是Youtube生产在使用的，但是架构很复杂。 与以往中间件不同，使用Vitess应用改动比较大要 使用他提供语言的API接口，我们可以借鉴他其中的一些设计思想。
  • Kingshard:
      Kingshard是前360Atlas中间件开发团队的陈菲利用业务时间 用go语言开发的，目前参与开发的人员有3个左右， 目前来看还不是成熟可以使用的产品，需要在不断完善。
  • Atlas:
      360团队基于mysql proxy 把lua用C改写。原有版本是支持分表， 目前已经放出了分库分表版本。在网上看到一些朋友经常说在高并 发下会经常挂掉，如果大家要使用需要提前做好测试。
  • MaxScale
      是mariadb（MySQL原作者维护的一个版本）研发的中间件
  • MySQL Route
      MySQL官方Oracle公司发布的中间件

国内使用较多的是Mycat，免费，简单，功能强大，社区完善，后两者虽是官方提供的但是拿到国内就有点水土不服，毕竟国内网站的吞吐量是非常大的。

Mycat安装

安装

​  下载上传Linux解压安装在/usr/local目录下即可，版本为1.6，下图就是mycat目录结构，几乎所有软件都是这些目录就不一个一个说了！
在这里插入图片描述

mycat主要配置文件

  • schema.xml：定义逻辑库，表、分片节点等内容
  • rule.xml：定义分片规则
  • server.xml：定义用户以及系统相关变量，如端口等

一主一从读写分离

介绍

​  单个数据库宕机会导致数据获取不到，数据库一般都是多个，而且我们项目中一般都是读得多写得少，比如我们使用淘宝看商品要比购买的点击次数多得多，我们为了提升项目并发量，数据库会实现读写分离，就好比火车站的入口和出口分开一样。
  我们先来个一主一从配置，主库负责写入数据，从库负责读取数据，从库和主库需要数据同步，可以使用MySQL(5.5版本之后)自带的主从复制实现，先搭建MySQL主从复制，再配置一主一从实现读写分离，一个主机负责处理所有的写请求，一台从机负责所有的读请求，架构图如下
在这里插入图片描述

Mysql主从复制原理

​  主数据库会将所有的写操作写入到二进制文件（binlog）中，从数据库读取binlog日志再将读取到的binlog写入到中继日志（Relaylog）中，再通过SQL线程执行语句，实现主从复制数据同步，与Redis一样主数据库只能有一台，从数据库可以有多台，不同之处在于Redis是全量复制，而MySQL是从确认主从关系后开始复制，之前的数据是不同步的，读取二进制文件和写入中继日志都会发生IO所以会存在延时
在这里插入图片描述

MySQL主从配置

主数据库配置(编辑/etc/my.cnf文件)

# Server ID
server-id =1
# 启动二进制日志
log-bin = mysql-bin
# Mysql有一些系统库不需要复制，可以配置多个
binlog-ignore-db = mysql 
binlog-ignore-db = sys
binlog-ignore-db = information_schema
binlog-ignore-db = performance_schema
# 设置需要复制的数据库，这里设置了上边不复制项就可以不设置
binlog-do-db = mycatdb
# 设置logbin日志格式
binlog_format = STATEMENT

从数据库配置

# Server ID
server-id =2
# 启用中继日志
relay-log = mysql-relay

重启Mysql查看状态，并且关闭防火墙

# 重启
systemctl restart mysqld 
# 查看状态
systemctl status mysqld
# 关闭防火墙
systemctl stop firewalld
# 开机禁用
systemctl disable firewalld
# 查看防火墙状态
systemctl status firewalld

重启mysql服务命令

创建可以进行复制的从节点用户slave

# 创建用户名为slave，密码为123456
grant replication slave on *.* to 'slave'@'%' identified by '123456';
# 刷新
flush privileges;
# 查看master状态
show master status;

在这里插入图片描述

记录下File和Position的值，到这里就不要操作主Mysql，防止服务器状态值变化，因为mysql主从复制是从主数据库当前状态开始复制

配置主从关系

change master to master_host='主IP',
master_user='上方我们创建的用户',
master_password='上方密码',
master_log_file='File',
master_log_pos=Position;
# 例如
change master to master_host='192.168.11.201',
master_user='slave',
master_password='123456',
master_log_file='mysql-bin.000003',
master_log_pos=582;

如果之前环境搭建过主从复制会报错，运行stop slave;和restart master;

启动从服务器复制功能

# 启动从服务
start slave;
# 查看从服务器状态
show slave status\G;

哎呦？出错了？

在这里插入图片描述

强调：Slave_IO_Running和Slave_SQL_Running都要为YES才行！！！

不慌

​​  程序员基本素养看日志，问题提示主从使用了相同的server UUID，这个UUID是在auto.cnf文件中，也就是你安装mysql时在my.cnf文件中配置的datadir路径下，输出之后发现确实是一样的

[root@stt201 data]# cat auto.cnf 
[auto]
server-uuid=dbbcb5a4-7331-11ea-b078-000c29382f46
[root@stt202 data]# cat auto.cnf 
[auto]
server-uuid=dbbcb5a4-7331-11ea-b078-000c29382f46

盘它

​​  停止从库的mysqld服务，删除auto.cnf文件，再启动数据库服务即可：

systemctl stop mysqld #停止服务
rm -rf auto.cnf #删除文件
systemctl start mysqld #启动服务
systemctl status mysqld #查看状态

一套创建库创建表插入数据连招安排

-- 创建、添加数据都是写，你说在哪弄？
-- 创建库
CREATE DATABASE mycatdb;
-- 创建表
CREATE TABLE IF NOT EXISTS mycatdb.tb_mycat(
	id INT NOT NULL,
    name VARCHAR(20) NOT NULL,
    PRIMARY KEY (`id`)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;
-- 插入数据
INSERT INTO mycatdb.tb_mycat(id,name) values(1,"添添"),(2,"小添"),(3,"晓添");
-- 主库和从库查询数据若都可以正常显示，说明木得问题
SELECT id,name FROM mycatdb.tb_mycat;

Mycat配置读写分离

修改server.xml文件

在这里插入图片描述

修改schema.xml文件

​  删除<schema>标签间表信息，<datanode>标签只留一个，<dataHost>标签只留一个，<writeHost>，<readHost>只留一对

​  强调：schema中的name属性值是我们mycat记录的逻辑库的名字，区分大小写，dataNode标签的database属性值对应的是真实的物理数据库名字，大家一定要记住并区分开，我们通过操作Mycat的逻辑库，Mycat帮我们去操作真正的物理数据库，啊呦欧克~~~
在这里插入图片描述

dataHost标签中的balance属性配置读写分离类型，默认为0，实际生产过程中设置为1（主双从）或者3（单主单从）

0：不开启读写分离，所有读操作都发送到当前可用的writeHost上

1：全部的readHost与stand by writeHost参与SELECT 语句的负载均衡

2：所有的读操作随机在writeHost和readHost上分发

3：所有读请求随机分发到readHost上执行，writeHost不负担读压力

启动Mycat吧

前提

  • 安装JDK，并且配置环境变量，Mycat基于Java编写，需要JVM
  • 在mysql中创建mycat用户密码为123456(和我们server.xml文件中一致)
  • mysql启动远程访问
-- 表示任意ip后可通过root用户密码123456访问
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
-- 刷新
flush privileges;

sql都准备好，就是懂你~~~

启动方式

  • 控制台启动：到mycat/bin目录下运行 ./mycat console；推荐使用，可以第一时间看到日志方便定位问题
  • 后台启动：到mycat/bin目录下运行 ./mycat start；
    在这里插入图片描述

如果看到图上红框内容说明mycat启动成功

Mycat登陆

登录后台管理窗口

​ 用于管理维护Mycat

mysql -umycat -p123456 -P 9066 -h 192.168.11.201

登陆数据窗口

​ 用于通过Mycat查询数据，我们开发是使用8066端口搞事情

mysql -umycat -p123456 -P 8066 -h 192.168.11.201

查看数据

-- 登陆mycat
mysql -umycat -p123456 -P 8066 -h 192.168.11.201
-- 查看数据库，看下图，查出来的是我们的逻辑库，区分大小写哦
show databases;
-- 使用逻辑库
use MYCATDB;
-- 查看库下所有表
show tables;
-- 查看数据
SELECT * FROM tb_mycat;

验证读写分离

-- 进入主mysql，添加一条数据，@@hostname为当前主机的名字
-- 主数据库和从数据库的主机名不同，所以数据也不一样
INSERT INTO mycatdb.tb_mycat(id,name) values (4,@@hostname);
-- 我们登陆mycat查看数据，如果是从数据库的数据那么就证明成功
SELECT * FROM MYCATDB.tb_mycat;

呀呀呀！咱们到这里就实现MySQL的主从复制，使用Mycat实现Mysql单主单从的读写分离，心里还真有点小激动呢！到这里大家跟着做出来，喝杯茶，下方留个言啥的岂不美哉！

双主双从读写分离

介绍

​​  上边我们介绍了一主一从实现读写分离，但是如果主库或者从库宕机就无法正常提供写和读的服务。我们使用双主双从，master1和master2为主服务器，都有对应的slave，当Master1宕机时Master2负责写请求，M1和M2互为备机，提高MySQL可用性，架构图如下
在这里插入图片描述

集群规划

编号 角色 IP地址 主机名
1 Master1 192.168.11.201 stt201
2 Slave1 192.168.11.202 stt202
3 Master2 192.168.11.203 stt203
4 Slave2 192.168.11.204 stt204

双主双从配置

Master1配置my.cnf文件

# Server ID
server-id =1
# 启动二进制日志
log-bin = mysql-bin
# Mysql有一些系统库不需要复制，可以配置多个
binlog-ignore-db = mysql
binlog-ignore-db = sys
binlog-ignore-db = information_schema
binlog-ignore-db = performance_schema
# 设置需要复制的数据库，这里设置了上边不复制项就可以不设置
binlog-do-db = mycatdb
# 设置logbin日志格式
binlog_format = STATEMENT
#步进值auto_imcrement。一般有n台主MySQL就填n
auto_increment_increment=2         
#起始值。一般填第n台主MySQL。此时为第一台主MySQL
auto_increment_offset=1
# 在作为从数据库时，有写入操作也要更新二进制文件
log-slave-updates = 1

Master2配置

# Server ID
server-id =3
# 启动二进制日志
log-bin = mysql-bin
# Mysql有一些系统库不需要复制，可以配置多个
binlog-ignore-db = mysql
binlog-ignore-db = sys
binlog-ignore-db = information_schema
binlog-ignore-db = performance_schema
# 设置需要复制的数据库，这里设置了上边不复制项就可以不设置
binlog-do-db = mycatdb
# 设置binlog日志格式
binlog_format = STATEMENT
#步进值auto_imcrement。一般有n台主MySQL就填n
auto_increment_increment=2         
#起始值。一般填第n台主MySQL。此时为第2台主MySQL
auto_increment_offset=2
log-slave-updates = 1

Slave1配置

# Server ID
server-id =2
# 启用中继日志
relay-log = mysql-relay

Slave2配置

# Server ID
server-id =4
# 启用中继日志
relay-log = mysql-relay

启动

前提

先删除mycatdb库(为什么呢？)

drop database mycatdb;

主从都重启mysql服务

systemctl restart mysqld
systemctl status mysqld

在两台主服务器上创建并授权slave用户，我们上边创建过的

-- 查看是否有用户存在
mysql> use mysql;
mysql> select user from user;

取消主从关系，在slave上运行

mysql> stop slave;
mysql> restart master;

配置主从和主主互备并且验证同步

-- 主从和主主互备与我们一主一从那个命令一样，不同的是我们需要在主节点运行一遍下方命令实现主主互备所以我们先查看Master的信息
change master to master_host='主IP',
master_user='上方我们创建的用户',
master_password='上方密码',
master_log_file='File',
master_log_pos=Position;
-- 启动从服务
start slave;
-- 查看状态,IO和SQL是否都为YES
show slave status\G;
-- 在主服务器做写入操作，参考一主一从

贴出过程大家可供参考

到这我们就实现了Mysql双主双从配置，并且没有问题的跑了起来，真是不容易啊，在这里我也是出了很多问题，踩了很多坑，大家按照步骤来弄，应该没有问题，出现问题下方留言评论或者私信我都可以哦！接下来我们就一口气使用Mycat实现双主双从的读写分离吧

Mycat配置读写分离

修改schema.xml文件

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
	<!--dataNode配置数据库地址，对应下方dataNode标签name属性值-->
	<schema name="MYCATDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
	</schema>
	<!--数据节点
		name：自定义唯一
		dataHost：数据主机
		database：物理数据库名，我这里有数据库名为mycatdb
	-->
	<dataNode name="dn1" dataHost="host1" database="mycatdb" />
	<!--数据主机
		name：和datanode的dataHost一致
		balance：配置读写分离类型，单主单从配置3，双主双从配置1
	-->
	<dataHost name="host1" maxCon="1000" minCon="10" balance="1"
			  writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
		<!--心跳机制，检测数据库是否可用-->
		<heartbeat>select user()</heartbeat>
		<!-- 写主机目前只配置一个
			url：配置数据库的ip:端口
		-->
		<writeHost host="hostM1" url="192.168.11.201:3306" user="root"
				   password="123456">
			<!--配置读主机-->
			<readHost host="hostS1" url="192.168.11.202:3306" user="root" password="123456" />
		</writeHost>
		<writeHost host="hostM2" url="192.168.11.203:3306" user="root"
				   password="123456">
			<!--配置读主机-->
			<readHost host="hostS2" url="192.168.11.204:3306" user="root" password="123456" />
		</writeHost>
	</dataHost>
</mycat:schema>

1、配置两个writeHost标签，修改host，url，user，password四个属性为自己的

2、dataHost标签中writeType属性，默认值为0

  • 0：表示所有写操作发送到第一个writeHost中，第一个挂了切换到第二个还生存的:
  • 1：所有的写操作随机发送给配置的writeHost，1.5之后废弃不推荐

3、dataHost标签中switchType属性，默认值为1

  • 1：故障自动切换
  • 2：故障不切换
  • 3：基于Mysql主从同步状态决定是否切换

验证读写分离

​  配置完mycat之后启动和登录mycat，下图前四个窗口是mysql窗口，在第一个窗口添加数据，以hostname为区分，数据成功添加并同步成功，在mycat窗口查询大家看到输出的数据时stt202和stt204这两个主机正是从服务器！

验证抗风险性

​ ​ 我们模拟一下mysql宕机，停止stt201服务器上mysql服务，通过mycat插入数据，通过select语句查询数据发现只有stt203和stt204上有数据，stt202是stt201的从服务器所以没有同步数据，但是stt203和stt204两台主机仍然可以为我们提供正常的数据服务

故障恢复

​​ ​ 这是运维大佬正在召唤师峡谷大展异彩，突然接到报警书数据库崩了，没有什么问题是重启解决不了了，我们现在重启一下stt201上的mysql服务，在使用mycat插入数据，发现四台服务器上数据一致，包括之前stt201宕机时插入的id为6的数据也在，是因为我们有主主互备，并且stt202是stt201的从服务。

总结

  1. mysql单机会出现单点故障问题，数据库宕机将造成数据无法读写，而且如果网站并发高，一个数据库实例无法支撑庞大的业务流量，我们项目中一般是读比写多，所以我们可以使用mysql的读写分离
  2. mysql读写分离这里演示了两种一主一从和双主双从，如果大家后边的n主n从可以参考配置修改即可，读写分离需要保证主库和从库数据一致这个可以依赖mysql5.5之后自带的主从复制实现
  3. 一主一从模式存在的问题是如果主库或者从库宕机也无法实现正常的服务，所以我们在生产中会使用多主多从方式都提供备用机提高mysql的可用性
  4. mysql的主从复制可以单独实现，但是如果要实现读写分离则需要使用数据库中间件，我们这里使用的是Mycat
  5. Mycat我们需要安装和配置，以及一些重要配置参数大家要心里有数

这篇文章我们先说一下基于Mycat实现Mysql读写分离，下一篇安排MySQL分表分库
很感谢大家的支持如果大家有什么好的建议欢迎留言评论，一起进步，创作不易点个赞吧
微信公众号搜索【达摩克利斯之笔】回复【资料】领取更多免费学习视频

添添长芝士
发布了28 篇原创文章 · 获赞 325 · 访问量 2万+
私信 关注

猜你喜欢

转载自blog.csdn.net/qq_36386908/article/details/105279214
今日推荐
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
国产云输入法——仅华为无云端数据上传安全问题
周排行
Python环境安装与基础语法（1）——计算机基础知识
IMU预积分
ADAS中的LDW、FCW、BSD、LCA、ACC、AEB、APA、DMS代表的含义
B站笔试两道题
skyeye arm 硬件虚拟机环境的搭建
Web前端静态页面示例
数组-合并排序数组 II-简单
springcloud之版本问题启动报错
面向对象-------------匿名对象(六)
输入URL到页面呈现中间发生了什么？
每日归档
更多
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)
2024-04-21(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022