Redis自学笔记12--主从复制

一、介绍

1、多台服务器连接方案

2、主从复制

3、作用

读写分离:master写、slave读,提高服务器的读写负载能力

负债均衡:基于主从结构,配合读写分离,由slave分担master负载,并根据需求的变化,改变slave的数量,通过多个从节点分担数据读取负载,大大提高Redis服务器并发量与数据吞吐量

故障恢复:当master出现问题时,由slave提供服务,实现快捷的故障恢复

数据冗余:实现数据热备份,是持久化之外的一种数据冗余方式

高可用基石:基于主从复制,构建哨兵模式与集群,实现Redis的高可用方案

二、工作流程

1、总述

3个阶段:建立连接、数据同步、命令传播

2、建立连接步骤

步骤1:设置master的地址和端口,保存master信息

步骤2:建立socket连接

步骤3:发送ping命令(定时任务)

步骤4:身份验证

步骤5:发送slave端口信息

状态:

slave保存了master的地址与端口;

master保存了slave的端口

总体:

之间创建了连接的socket

2.1建立连接实现方式:

方式一:客户端发送命令

slaveof <masterip> <masterport>

方式二:启动服务器参数

redis-server --slaveof <masterip> <masterport>

方式三:服务器文件配置

slaveof <masterip> <masterport>

2.2断开连接实现方式:

slaveof no one

2.3授权访问:

master配置文件设置密码

requirepass <password>

master客户端发送命令设置密码

config set requirepass <password>
config get requirepass

slave客户端发送命令设置密码

auth <password>

slave配置文件设置密码

masterauth <password>

启动客户端设置密码

redis-cli -a <password>

3、数据同步步骤

步骤1:请求同步数据

步骤2:创建RDB同步数据

步骤3:恢复RDB同步数据

步骤4:请求部分同步数据

步骤5:恢复部分同步数据

状态:

slave:具有master端全部数据,包含RDB过程接收的数据

master:保存slave当前数据同步的位置

总体:

之间完成了数据克隆

master注意事项:

如果master数据量巨大,数据同步阶段应避开流量高峰,避免造成master阻塞,影响业务正常执行;

复制缓冲区大小设定不合理,会导致数据溢出。如进行全量复制周期太长,进行部分复制时发现数据已经存在丢失的情况,必须进行第二次全量复制,致使slave陷入死循环状态;

repl-backlog-size 1mb

master单机内存占用主机内存的比例不应过大,建议使用50%-70%的内存,留下30%-50%的内存用于执行bgsave命令和创建复制缓冲区;

slave注意事项:

为避免slave进行全量复制、部分复制时服务器响应阻塞或数据不同步,建议关闭此期间的对外服务

slave-serve-stale-data yes|no

数据同步阶段,master发送给slave信息可以理解为master是slave的一个客户端,主动向slave发送命令;

多个slave同时对master请求数据同步,master发送的RDB文件增多,会对带宽造成巨大冲击,如果master带宽不足,因此数据同步需要根据业务需求,适量错峰;

slave过多时,建议调整拓扑结构,由一主多从结构变为树状结构,中间节点既是master,也是slave。注意使用树状结构是,由于层级深度,导致深度越高的slave与最顶层的master间数据同步延迟较大,数据一致性变差,应谨慎使用;

4、命令传播步骤

4.1命令传播出现断网现象

     网络闪断闪连(忽略)

     短时间网络中断(部分复制)

     长时间网络中断(全量复制)

4.2部分复制的三个核心

     服务器的运行id(run id)

     主服务器的复制积压缓冲区

     主服务器的复制偏移量

4.3服务器运行id

概念:服务器运行ID是每一个服务器每次运行的身份识别码,一台服务器多次运行可以生成多个运行ID;

组成:运行id由40位字符组成,是一个随机的十六进制字符;

作用:运行id被用于在服务器间进行传输,识别身份;

实现方式:运行id在每台服务器启动时自动生成的,master在首次连接slave时,会将自己的运行ID发给slave,slave保存此ID,通过info Server命令,可以查看节点的runid;

4.4复制缓冲区

概念:复制缓冲区,又名复制积压缓冲区,是一个先进先出的队列,用于存储服务器执行的命令,每次传播命令,master都会将传播的命令记录下来,并存储在复制缓冲区;

工作原理:

由来:每台服务器启动时,如果开启有AOF或连接成为master节点,即创建复制缓冲区;

作用:用于保存master收到的所有指令(仅影响数据变更的指令);

数据库来源:当master接收到主客户端的指令时,除了将指令执行,会将该指令存储到缓冲区中;

4.5偏移量

概念:一个描述复制缓冲区中的指令字节位置的数字;

分类:

       master复制偏移量:记录发给所有slave的指令字节对应的位置(多个)

       slave复制偏移量:记录slave接收master发送过来的字节对应的位置(一个)

数据来源:

       master端:发送一次记录一次

       slave端:接收一次记录一次

作用:同步信息,比对master与slave的差异,当slave断线后,恢复数据使用

4.6心跳机制

进入命令传播阶段,master与slave间需要进行信息交换,使用心跳机制维护,实现双方连接保持在线

master心跳:

指令:PING

周期:由repl-ping-slave-period决定,默认10秒

作用:判断slave是否在线

查询:INFO replication(获取slave最后一次连接时间间隔,lag项维持在0或1视为正常)

slave心跳:

指令:replconf  ack

周期:1秒

作用1:汇报slave自己的复制偏移量,获取最新的数据变更指令

作用2:判断master是否在线

注意事项:

当slave多数掉线或延迟过高时,master为保障数据稳定性,将拒绝所有信息同步操作

min-slaves-to-write 2
min-slaves-max-lag 10

slave数量少于2个,或者所有slave的延迟都大于等于10秒时,强制关闭master写功能,停止数据同步

slave数量由slave发送REPLCONF ACK 命令做确认

slave延迟由slave发送REPLCONF ACK 命令做确认

三、主从复制常见问题

频繁全量复制1:

频繁全量复制2:

频繁网络中断1:

频繁网络中断2:

数据不一致:

发布了171 篇原创文章 · 获赞 5 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/QilanAllen/article/details/105299754
今日推荐