RocketMq学习(一、双master模式集群搭建)

一、简介

RocketMQ是一款分布式、队列模型的消息中间件,由阿里巴巴自主研发,基于Metaq内核,在Metaq3.X之后改名为RocketMq,仅借鉴参考了JMS规范,但不遵循JMS规范。摒弃了通过zookeeper,使用更为轻量级的nameserver进行网络路由,提高服务性能,并且支持消息失败重试机制。

除了常规的JMS概念之外:

nameserver: 存储当前集群所有Brokers信息、Topic跟Broker的对应关系。

broker: 集群最核心模块,主要负责Topic消息存储、消费者的消费位点管理(消费进度)。

集群部署结构:

本文仅介绍双master搭建模式,因系统并发量要求不高,双master模式已足够,其他集群模式请自行百度。

二、工作流程

1,启动Nameserver,Nameserver起来后监听端口,等待Broker、Produer、Consumer连上来,相当于一个路由控制中心(zookeeper的作用,但比ZK更轻量级)。

2,Broker启动,跟所有的Nameserver保持长连接,定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有topic信息。注册成功后,Nameserver集群中就有Topic跟Broker的映射关系。

3,收发消息前,先创建topic,创建topic时需要指定该topic要存储在哪些Broker上。也可以在发送消息时自动创建Topic。

4,Producer发送消息,启动时先跟Namesrv集群中的其中一台建立长连接,并从Nameserver中获取当前发送的Topic存在哪些Broker上,然后跟对应的Broker建立长连接,直接向Broker发消息。

5,Consumer跟Producer类似。跟其中一台Nameserver建立长连接,获取当前订阅Topic存在哪些Broker上,然后直接跟Broker建立连接通道,开始消费消息。

三、配置部署

rocketmq版本使用的是4.5.2,将下载好的文件放在linux服务器上解压。

在解压路径下面新建store文件夹,(先前参考网上新建了部分文件夹,但却导致broker启动失败,该原因还在排查)

修改bin/runbroker.sh的JVM配置,具体视生产情况而定,最好不要少于1g

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m"

修改bin/server.sh的JVM配置,具体视生产情况而定,最好不要少于1g

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

修改conf/2m-noslave下面的broker配置

broker-a.properties

#所属集群名字 
brokerClusterName=rocketmq-cluster 
#broker名字,注意此处不同的配置文件填写的不一样 
brokerName=broker-a  #两文档唯一区别
#0 表示 Master,>0 表示 Slave brokerId=0 #nameServer地址,分号分割 
brokerId=0 
#nameServer地址,分号分割 
namesrvAddr=10.32.16.195:9876;10.32.16.196:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数 
defaultTopicQueueNums=4 
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭 
autoCreateTopicEnable=true 
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭 
autoCreateSubscriptionGroup=true 
#Broker 对外服务的监听端口 
listenPort=10911
#删除文件时间点,默认凌晨 4点 
deleteWhen=04 
#文件保留时间,默认 48 小时 
fileReservedTime=120 
#commitLog每个文件的大小默认1G 
mapedFileSizeCommitLog=1073741824 
#ConsumeQueue每个文件默认存30W条,根据业务情况调整 
mapedFileSizeConsumeQueue=300000 
#destroyMapedFileIntervalForcibly=120000 
#redeleteHangedFileInterval=120000 
#检测物理文件磁盘空间 
diskMaxUsedSpaceRatio=88 
#存储路径 
storePathRootDir=/usr/local/rocketmq-4.5.2/store
#commitLog 存储路径 
storePathCommitLog=/usr/local/rocketmq-4.5.2/store/commitlog 
#消费队列存储路径存储路径 
storePathConsumeQueue=/usr/local/rocketmq-4.5.2/store/consumequeue 
#消息索引存储路径 
storePathIndex=/usr/local/rocketmq-4.5.2/store/index 
#checkpoint 文件存储路径 
storeCheckpoint=/usr/local/rocketmq-4.5.2/store/checkpoint 
#abort 文件存储路径 
abortFile=/usr/local/rocketmq-4.5.2/store/abort 
#限制的消息大小 
maxMessageSize=65536 
#flushCommitLogLeastPages=4 
#flushConsumeQueueLeastPages=2 
#flushCommitLogThoroughInterval=10000 
#flushConsumeQueueThoroughInterval=60000 
#Broker 的角色 
#- ASYNC_MASTER 异步复制Master 
#- SYNC_MASTER 同步双写Master 
#- SLAVE 
brokerRole=ASYNC_MASTER 
#刷盘方式 
#- ASYNC_FLUSH 异步刷盘 
#- SYNC_FLUSH 同步刷盘 
flushDiskType=ASYNC_FLUSH 
#checkTransactionMessageEnable=false 
#发消息线程池数量 
#sendMessageThreadPoolNums=128 
#拉消息线程池数量 
#pullMessageThreadPoolNums=128

broker-b.properties

#所属集群名字 
brokerClusterName=rocketmq-cluster 
#broker名字,注意此处不同的配置文件填写的不一样 
brokerName=broker-b  #两文档唯一区别
#0 表示 Master,>0 表示 Slave brokerId=0 #nameServer地址,分号分割 
brokerId=0 
#nameServer地址,分号分割 
namesrvAddr=10.32.16.195:9876;10.32.16.196:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数 
defaultTopicQueueNums=4 
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭 
autoCreateTopicEnable=true 
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭 
autoCreateSubscriptionGroup=true 
#Broker 对外服务的监听端口 
listenPort=10911
#删除文件时间点,默认凌晨 4点 
deleteWhen=04 
#文件保留时间,默认 48 小时 
fileReservedTime=120 
#commitLog每个文件的大小默认1G 
mapedFileSizeCommitLog=1073741824 
#ConsumeQueue每个文件默认存30W条,根据业务情况调整 
mapedFileSizeConsumeQueue=300000 
#destroyMapedFileIntervalForcibly=120000 
#redeleteHangedFileInterval=120000 
#检测物理文件磁盘空间 
diskMaxUsedSpaceRatio=88 
#存储路径 
storePathRootDir=/usr/local/rocketmq-4.5.2/store
#commitLog 存储路径 
storePathCommitLog=/usr/local/rocketmq-4.5.2/store/commitlog 
#消费队列存储路径存储路径 
storePathConsumeQueue=/usr/local/rocketmq-4.5.2/store/consumequeue 
#消息索引存储路径 
storePathIndex=/usr/local/rocketmq-4.5.2/store/index 
#checkpoint 文件存储路径 
storeCheckpoint=/usr/local/rocketmq-4.5.2/store/checkpoint 
#abort 文件存储路径 
abortFile=/usr/local/rocketmq-4.5.2/store/abort 
#限制的消息大小 
maxMessageSize=65536 
#flushCommitLogLeastPages=4 
#flushConsumeQueueLeastPages=2 
#flushCommitLogThoroughInterval=10000 
#flushConsumeQueueThoroughInterval=60000 
#Broker 的角色 
#- ASYNC_MASTER 异步复制Master 
#- SYNC_MASTER 同步双写Master 
#- SLAVE 
brokerRole=ASYNC_MASTER 
#刷盘方式 
#- ASYNC_FLUSH 异步刷盘 
#- SYNC_FLUSH 同步刷盘 
flushDiskType=ASYNC_FLUSH 
#checkTransactionMessageEnable=false 
#发消息线程池数量 
#sendMessageThreadPoolNums=128 
#拉消息线程池数量 
#pullMessageThreadPoolNums=128

先启动两台服务器的namesrv

nohup sh mqnamesrv >/usr/local/rocketmq-4.5.2/logs/namesrv.log 2>&1 &

再启动两台服务器的broker

nohup sh mqbroker -c /usr/local/rocketmq-4.5.2/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &

查看mq启动情况:jps

 则双master模式启动成功。

四、rocketmq控制台

下载开源项目:https://github.com/apache/rocketmq-externals

application.properties文件,将项目使用的rocketmq.config.namesrvAddr配置上去

打包:mvn clean package -Dmaven.test.skip=true

运行springboot项目:java -jar xx.jar

期间服务启动失败:

是由于rocketmq服务防火墙没有关闭

systemctl stop firewalld.service

猜你喜欢

转载自www.cnblogs.com/Unlimited-Blade-Works/p/12132081.html

相关文章