三分钟快速搭建分布式高可用的Redis集群

6380端口的节点启动成功，第一次启动时如果没有集群配置文件，Redis会自动创建一个。6380端口的节点创建的集群配置文件如下：

df1ac987f47dea35f1d0a83c3b405f0ef86892ab :0@0 myself,master - 0 0 0 connected

vars currentEpoch 0 lastVoteEpoch 0

集群文件中记录的集群的状态，这里最重要的是节点ID，它是一个40位的16进制字符串，用于唯一标识集群中的这个节点。同样，也可以通过cluster nodes命令查看集群节点状态。比如在6380端口的节点上执行命令：

127.0.0.1:6380> cluster nodes

df1ac987f47dea35f1d0a83c3b405f0ef86892ab :6380@16380 myself,master - 0 0 0 connected

目前，我们已经成功启动了6个节点，但是它们只能识别自己的节点信息，互相之间并不认识。下面我们通过节点握手让这6个节点互相之间建立联系从而组成一个集群。

节点握手

节点握手是一些运行在集群模式下的节点通过Gossip协议互相通信，达到感知彼此的过程。

白嫖小贴士：Gossip协议是基于流行病传播方式的节点或者进程之间信息交换的协议，在分布式系统中被广泛使用。

节点握手通过客户端执行cluster meet命令实现，它是一个异步命令，执行之后立刻返回，在Redis内部异步发起与目标节点的握手通信，该命令的语法如下：

cluster meet 目标节点IP 目标节点端口

把6个节点加到一个集群中：

127.0.0.1:6380> cluster meet 127.0.0.1 6381

OK

127.0.0.1:6380> cluster meet 127.0.0.1 6382

OK

127.0.0.1:6380> cluster meet 127.0.0.1 6383

OK

127.0.0.1:6380> cluster meet 127.0.0.1 6384

OK

127.0.0.1:6380> cluster meet 127.0.0.1 6385

OK

只需要在集群中任意节点上执行cluster meet命令加入新的节点，握手状态会通过消息在集群中传播，其他节点也会自动发现新节点并与之发起握手流程。

我们再执行一下cluster nodes命令，检查一下6个节点是否已经组成集群：

127.0.0.1:6380> cluster nodes

1e1f45677d7b9b0130d03193f0bcec34578ac47d 127.0.0.1:6385@16385 master - 0 1586617919021 5 connected

df1ac987f47dea35f1d0a83c3b405f0ef86892ab 127.0.0.1:6380@16380 myself,master - 0 1586617916000 2 connected

5846b66ebe4fb4a5dcfd035652cc471f7e412752 127.0.0.1:6381@16381 master - 0 1586617917005 1 connected

a435cf98c3444b0b110a224401e397a107c453ef 127.0.0.1:6384@16384 master - 0 1586617914988 4 connected

71e0e9e9a6f0c7c85dbe0d396846a9072625c5e8 127.0.0.1:6383@16383 master - 0 1586617918013 3 connected

e25590603c7a254cce43aa8437861c5c425d753d 127.0.0.1:6382@16382 master - 0 1586617916000 0 connected

可以看到，6个节点都在集群中了。不过，此时因为还没有为集群中的节点分配槽，集群还处于下线状态，所有的数据读写都是被禁止的。比如：

127.0.0.1:6380> set onemore study

(error) CLUSTERDOWN Hash slot not served

接下来，我们为集群中的节点分配槽。

分配槽

我们把6380、6382、6384端口的节点作为主节点，负责处理槽和相关数据；6381、6383、6385端口的节点分别作为从节点，负责故障转移。先把16384个槽平均分配给6380、6382、6384端口的节点，为节点分配槽是通过cluster addslots命令实现：

./redis-cli -h 127.0.0.1 -p 6380 cluster addslots {0…5461}

OK

./redis-cli -h 127.0.0.1 -p 6382 cluster addslots {5462…10922}

OK

./redis-cli -h 127.0.0.1 -p 6384 cluster addslots {10923…16383}

OK

我们再执行一下cluster nodes命令，检查一下槽是否已经分配：

127.0.0.1:6380> cluster nodes

1e1f45677d7b9b0130d03193f0bcec34578ac47d 127.0.0.1:6385@16385 master - 0 1586619468000 5 connected

df1ac987f47dea35f1d0a83c3b405f0ef86892ab 127.0.0.1:6380@16380 myself,master - 0 1586619464000 2 connected 0-5461

5846b66ebe4fb4a5dcfd035652cc471f7e412752 127.0.0.1:6381@16381 master - 0 1586619467000 1 connected

a435cf98c3444b0b110a224401e397a107c453ef 127.0.0.1:6384@16384 master - 0 1586619467000 4 connected 10923-16383

71e0e9e9a6f0c7c85dbe0d396846a9072625c5e8 127.0.0.1:6383@16383 master - 0 1586619467348 3 connected

e25590603c7a254cce43aa8437861c5c425d753d 127.0.0.1:6382@16382 master - 0 1586619468355 0 connected 5462-10922

再使用cluster replicate命令把一个节点变成从节点.，这个命令必须在从节点上运行，它的语法是：

cluster replicate 主节点ID

把6381、6383、6385端口的节点变成对应6380、6382、6384端口的节点的从节点：

./redis-cli -h 127.0.0.1 -p 6381

127.0.0.1:6381> cluster replicate df1ac987f47dea35f1d0a83c3b405f0ef86892ab

OK

127.0.0.1:6381> exit

./redis-cli -h 127.0.0.1 -p 6383

127.0.0.1:6383> cluster replicate e25590603c7a254cce43aa8437861c5c425d753d

OK

127.0.0.1:6383> exit

./redis-cli -h 127.0.0.1 -p 6385

127.0.0.1:6385> cluster replicate a435cf98c3444b0b110a224401e397a107c453ef

OK

127.0.0.1:6385> exit

我们再执行一下cluster nodes命令，检查一下集群状态和主从关系：

127.0.0.1:6380> cluster nodes

df1ac987f47dea35f1d0a83c3b405f0ef86892ab 127.0.0.1:6380@16380 myself,master - 0 1586620148000 2 connected 0-5461

5846b66ebe4fb4a5dcfd035652cc471f7e412752 127.0.0.1:6381@16381 slave df1ac987f47dea35f1d0a83c3b405f0ef86892ab 0 1586620150000 2 connected

e25590603c7a254cce43aa8437861c5c425d753d 127.0.0.1:6382@16382 master - 0 1586620151000 0 connected 5462-10922

71e0e9e9a6f0c7c85dbe0d396846a9072625c5e8 127.0.0.1:6383@16383 slave e25590603c7a254cce43aa8437861c5c425d753d 0 1586620152220 3 connected

a435cf98c3444b0b110a224401e397a107c453ef 127.0.0.1:6384@16384 master - 0 1586620150000 4 connected 10923-16383

1e1f45677d7b9b0130d03193f0bcec34578ac47d 127.0.0.1:6385@16385 slave a435cf98c3444b0b110a224401e397a107c453ef 0 1586620149000 5 connected

自此，RedisCluster已经手动搭建完成。手动搭建可以理解集群建立的流程和细节，不过大家也会发现手动搭建有很多步骤，当集群的节点比较多的时候，肯定会让人头大。所以Redis官方提供了redis-trib.rb工具，可以让我们快速地搭建集群。

自动搭建

redis-trib.rb是使用Ruby开发的Redis Cluster的管理工具，不需要额外下载，默认位于源码包的src目录下，但因为该工具是用Ruby开发的，所以需要准备相关的依赖环境。

环境准备

安装Ruby：

yum -y install zlib-devel

wget https://cache.ruby-lang.org/pub/ruby/2.5/ruby-2.5.1.tar.gz

tar xvf ruby-2.5.1.tar.gz

cd ruby-2.5.1/

./configure -prefix=/usr/local/ruby

make

make install

cd /usr/local/ruby/

cp bin/ruby /usr/local/bin

cp bin/gem /usr/local/bin

安装rubygem redis依赖：

wget http://rubygems.org/downloads/redis-3.3.0.gem

gem install -l redis-3.3.0.gem

安装redis-trib.rb：

cp src/redis-trib.rb /usr/local/bin

执行redis-trib.rb命令确认一下环境是否准备正确：

redis-trib.rb help

Usage: redis-trib <arguments …>

create host1:port1 … hostN:portN

–replicas

check host:port

info host:port

fix host:port

–timeout

reshard host:port

–from

…此处省略一万个字…

搭建集群

像前面的内容讲的，准备好节点配置并启动：

src/redis-server conf/redis-7380.conf &

src/redis-server conf/redis-7381.conf &

src/redis-server conf/redis-7382.conf &

src/redis-server conf/redis-7383.conf &

src/redis-server conf/redis-7384.conf &

src/redis-server conf/redis-7385.conf &

使用redis-trib.rb create命令完成节点握手和槽分配的工作，命令如下：

redis-trib.rb create --replicas 1 127.0.0.1:7380 127.0.0.1:7382 127.0.0.1:7384 127.0.0.1:7381 127.0.0.1:7383 127.0.0.1:7385

其中--replicas参数用来指定集群中每个主节点有几个从节点，这里设置的是1。命令执行后，会首先给出主从节点的分配计划：

Creating cluster

Performing hash slots allocation on 6 nodes…

Using 3 masters:

127.0.0.1:7380