RocketMQ集群原理及双主双从集群搭建

RocketMQ的三种自带集群模式为：

（1）双MASTER : 优点是配置简单、快捷，但是一旦MASTER机器宕机或出现问题就无法提供服务；

（2）双MASTER双SLAVE同步双写：比异步复制的性能差10%，但能保证数据不丢失；

（3）双MASTER双SLAVE 异步复制：性能最好，但是遇到突发情况会有少量数据丢失。

上图为双主双从集群原理图，其中Name Server是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。

Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的Broker Name，不同的Broker Id来定义，BrokerId为0表示Master，非0表示Slave。双主双从集群中有两个Master，每个Master对应一个Slave。

每个Broker与Name Server集群中的所有节点建立长连接，定时（每隔30s）注册Topic信息到所有Name Server。Name Server定时（每隔10s）扫描所有存活Broker的连接，如果Name Server超过2分钟没有收到心跳，则Name Server断开与Broker的链接。

Producer与Name Server集群中的其中一个节点（随机选择）建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。

Producer每隔30s（由ClientConfig的pollNameServerInterval）从Name server获取所有topic队列的最新情况，这意味着如果Broker不可用，Producer最多30s能够感知，在此期间内发往Broker的所有消息都会失败。

Producer每隔30s（由ClientConfig中heartbeatBrokerInterval决定）向所有关联的Broker发送心跳，Broker每隔10s中扫描所有存活的连接，如果Broker在2分钟内没有收到心跳数据，则关闭与Producer的连接。

Consumer与Name Server集群中的其中一个节点（随机选择）建立长连接，定期从Name Server取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。Consumer每隔30s从Name server获取topic的最新队列情况，这意味着Broker不可用时，Consumer最多最需要30s才能感知。

Consumer每隔30s（由ClientConfig中heartbeatBrokerInterval决定）向所有关联的Broker发送心跳，Broker每隔10s扫描所有存活的连接，若某个连接2分钟内没有发送心跳数据，则关闭连接，并向该Consumer Group的所有Consumer发出通知，Group内的Consumer重新分配队列，然后继续消费。

当Consumer得到Master宕机通知后，转向Slave消费，Slave不能保证Master的消息100%都同步过来了，因此会有少量的消息丢失。但是一旦Master恢复，未同步过去的消息会被最终消费掉。

以其中一组Master/Slave为例，配置信息如下所示：

/mnt/rocketmq/conf/2m-2s-sync/broker-a.properties

Master节点配置如下：

brokerClusterName=evcgCluster
brokerIP1=192.168.1.10
brokerIP2=192.168.1.11
brokerName=broker-a
brokerId=0
namesrvAddr=192.168.1.10:9876;192.168.1.20:9876
defaultTopicQueueNums=4
autoCreateTopicEnbale=true
autoCreateSubscriptionGroup=true
listenPort=10912
deleteWhen=04
fileReservedTime=120
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=300000
storePathRootDir=/mnt/rocketmq/store
storePathCommitLog=/mnt/rocketmq/store/commitlog
storePathConsumeQueue=/mnt/rocketmq/store/consumequeue
storePathIndex=/mnt/rocketmq/store/index
storeCheckpoint=/mnt/rocketmq/store/checkpoint
abortFile=/mnt/rocketmq/store/abort
maxMessageSize=65536
brokerRote=SYNC_MASTER
flushDiskType=SYNC_FLUSH

Slave节点配置如下：

brokerClusterName=evcgCluster
brokerIP1=192.168.1.11
brokerName=broker-a
brokerId=1
namesrvAddr=192.168.1.10:9876;192.168.1.20:9876
defaultTopicQueueNums=4
autoCreateTopicEnbale=true
autoCreateSubscriptionGroup=true
listenPort=10912
deleteWhen=04
fileReservedTime=120
mapedFileSizeCommitLog=1073741824
mapedFileSizeConsumeQueue=300000
storePathRootDir=/mnt/rocketmq/store
storePathCommitLog=/mnt/rocketmq/store/commitlog
storePathConsumeQueue=/mnt/rocketmq/store/consumequeue
storePathIndex=/mnt/rocketmq/store/index
storeCheckpoint=/mnt/rocketmq/store/checkpoint
abortFile=/mnt/rocketmq/store/abort
maxMessageSize=65536
brokerRote=SLAVE
flushDiskType=SYNC_FLUSH

RocketMQ集群原理及双主双从集群搭建

猜你喜欢