Redis_主库从库如何保证数据一致

Redis核心技术与实战 - 06

Redis的高可靠性:

  1. 数据尽量少丢失; 通过 AOF 和 RDB 保证
  2. 服务尽量少中断;通过增加副本冗余量来保证,将一份数据同时保存在多个实例上。即使有一个实例出现了故障,需要过一段时间才能恢复,其他实例也可以对外提供服务,不会影响业务使用。

目录

一、主从库模式  (主从复制读写分离 --> 以相对小开销保证多实例数据一致)

二、主从库同步过程:

1、主从库第一次同步  (通过RDB快照完成全量复制)

2、主从库实时同步 (基于长连接的 实时命令传播)

3、【主 - 从 - 从 】模式 (缓解主库多次生成RDB和传输RDB的开销)

4、主从库间网络断了怎么办?(基于断开点进行增量复制)

增量复制:(通过repl_backlog_buffer 环形缓冲区来记录主库新增命令位置,从库已读取位置,对位置差间内容进行重写。)

环形缓冲区的问题:(大小会影响记录的准确性,repl_backlog_size参数调节大小)

三、建议 (一个 Redis 实例的数据库不要太大)


一、主从库模式

为保证服务尽量少中断而提供多实例,这么多副本,它们之间的数据如何保持一致呢?数据读写操作可以发给所有的实例吗?

Redis 提供了主从库模式,以保证数据副本的一致,主从库之间采用的是读写分离的方式,以减少为保证各个实例上数据一致性的开销。

主从库之间采用的是读写分离的方式:

  • 读操作:主库、从库都可以接收;
  • 写操作:首先到主库执行,然后,主库将写操作同步给从库。

一个数据的写操作要保持在多个实例上一致,就要涉及到加锁、实例间协商是否完成修改等一系列操作,但这会带来巨额的开销,当然是不太能接受的。而主从库模式一旦采用了读写分离,所有数据的修改只会在主库上进行,不用协调三个实例。

主库有了最新的数据后,会同步给从库,这样,主从库的数据就是一致的。
 

二、主从库同步过程:

1、主从库第一次同步 

  • 第一阶段:主从库建立连接准备同步
  • 第二阶段:主库将所有数据同步给从库。从库收到数据后,在本地完成数据加载。这个过程依赖于内存快照生成的 RDB 文件。【生成 RDB 文件和传输 RDB 文件 是两个很耗时的操作】
    在主库将数据同步给从库的过程中,主库不会被阻塞,仍然可以正常接收请求。否则,Redis 的服务就被中断了。但是,这些请求中的写操作并没有记录到刚刚生成的 RDB 文件中。为了保证主从库的数据一致性,主库会在内存中用专门的 replication buffer,记录 RDB 文件生成后收到的所有写操作。
  • 第三阶段:当主库完成 RDB 文件发送后,就会把此时 replication buffer 中的修改操作发给从库,从库再重新执行这些操作。这样一来,主从库就实现同步了。

2、主从库实时同步

一旦主从库完成了全量复制,它们之间就会一直维护一个网络连接,主库会通过这个连接将后续陆续收到的命令操作再同步给从库,这个过程也称为基于长连接的命令传播,可以避免频繁建立连接的开销。

3、【主 - 从 - 从 】模式

第一阶段全量复制中,对于主库来说,需要完成两个耗时的操作:生成 RDB 文件和传输 RDB 文件。

如果从库数量很多,而且都要和主库进行全量复制的话,就会导致主库忙于 fork 子进程生成 RDB 文件,进行数据全量同步。fork 这个操作会阻塞主线程处理正常请求,从而导致主库响应应用程序的请求速度变慢。此外,传输 RDB 文件也会占用主库的网络带宽,同样会给主库的资源使用带来压力。

通过“主 - 从 - 从”模式将主库生成 RDB 和传输 RDB 的压力,以级联的方式分散到从库上。

4、主从库间网络断了怎么办?

在 Redis 2.8 之前,如果主从库在命令传播时出现了网络闪断,那么,从库就会和主库重新进行一次全量复制,开销非常大。

从 Redis 2.8 开始,网络断了之后,主从库会采用增量复制的方式继续同步。

增量复制:

当主从库断连后,主库会把断连期间收到的写操作命令,写入 replication buffer,同时也会把这些操作命令也写入 repl_backlog_buffer 这个缓冲区。

repl_backlog_buffer 是一个环形缓冲区,主库会记录自己写到的位置,从库则会记录自己已经读到的位置。

环形缓冲区的问题:

因为 repl_backlog_buffer 是一个环形缓冲区,所以在缓冲区写满后,主库会继续写入,此时,就会覆盖掉之前写入的操作。

如果从库的读取速度比较慢,就有可能导致从库还未读取的操作被主库新写的操作覆盖了,这会导致主从库间的数据不一致。因此,我们要想办法避免这一情况,一般而言,我们可以调整 repl_backlog_size 这个参数来控制缓冲区的大小。

缓冲空间的计算公式是:缓冲空间大小 = 主库写入命令速度 * 操作大小 - 主从库间网络传输命令速度 * 操作大小。

三、建议

一个 Redis 实例的数据库不要太大,一个实例大小在几 GB 级别比较合适,这样可以减少 RDB 文件生成、传输和重新加载的开销。

另外,为了避免多个从库同时和主库进行全量复制,给主库过大的同步压力,我们也可以采用“主 - 从 - 从”这一级联模式,来缓解主库的压力。

猜你喜欢

转载自blog.csdn.net/u013025748/article/details/113655867