rocketMQ集群双主双从同步模式(2m-2s-sync)搭建

1.去apache官网( http://rocketmq.apache.org/release_notes/release-notes-4.6.0/)下载最新的rocketmq发行版,我用的是4.6版本(  rocketmq-all-4.6.0-bin-release.zip) 如下图:

2.将下载后的二进制包(zip)上传到服务器目录之中,然后进行解压   解压命令为:unzip rocketmq-all-4.6.0-bin-release.zip

如果报错bash: unzip: command not found   则说明没有unzip命令  可先安装,命令为:yum -y install unzip   我的包目录为/home/zhipeng/rocketMQ   

3.我们想要规划的环境如下:

序号 IP 角色 架构模式
1 192.168.108.128 nameserver,brokerserver Master1,Slave2
2 192.168.108.129

nameserver,brokerserver

Master2,Slave1

4.Host添加信息(两台机器都要执行) 编辑hosts文件,添加域名信息  命令为:vi /etc/hosts    保存之后,重启网卡服,命令:systemctl restart network   如下图

5.防火墙配置(两台机器都要执行)
可以开放端口,此处本地实现,简单粗暴点儿,直接关闭防火墙;
#检查状态
systemctl status firewalld
#关闭防火墙
systemctl stop firewalld
#禁止防火墙开机启动
systemctl disable firewalld
然后编辑profile文件,添加rocketmq环境变量配置  命令:vi /etc/profile   编辑内容如下

# set rocketmq
ROCKETMQ_HOME=/usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH

6.保存之后执行命令重新加载    命令为:source /etc/profile   

7.创建消息存储路径   因为同一台机器主从节点共用存储路径会冲突报错,这里我们分别创建两个目录避坑,我们在下一步中配置文件就用对应的路径就可以了(注意:以下创建命令需要一级级创建目录 得确保上一级目录是否存在才能创建  不能同时创建多级目录   不然会报mkdir: cannot create directory ‘/home/zhipeng/mq/rocketmq/mstore’: No such file or directory错误   如想要同时创建多级目录则需加mkdir -p即可)

#主节点使用目录
mkdir /home/zhipeng/mq/rocketmq/mstore
mkdir /home/zhipeng/mq/rocketmq/mstore/commitlog
mkdir /home/zhipeng/mq/rocketmq/mstore/consumequeue
mkdir /home/zhipeng/mq/rocketmq/mstore/index
 
#从节点使用目录
mkdir /home/zhipeng/mq/rocketmq/store
mkdir /home/zhipeng/mq/rocketmq/store/commitlog
mkdir /home/zhipeng/mq/rocketmq/store/consumequeue
mkdir /home/zhipeng/mq/rocketmq/store/index

8.修改broker配置文件  配置文件修改如下:

配置文件位置在conf文件目录下。
我们使用2m-2s-sync文件夹里面的配置,这个就是对应双主-双从-同步集群
下面配置文件可直接使用:首先对192.168.108.129机器上要部署的master1和slave2配置文件进行修改:命令:vim broker-a.properties      vim broker-b-s.properties

编辑broker-a.properties如下:

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-a
#主从标识:0 表示Master, >0 表示Slave
brokerId=0
#nameServer地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除长期无用文件时间点,默认凌晨4点
deleteWhen=04
#文件保留时间(h),默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/zhipeng/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/home/zhipeng/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/home/zhipeng/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/zhipeng/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/home/zhipeng/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/zhipeng/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=ASYNC_MASTER
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
  

编辑broker-b-s.properties如下:

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-b
#主从标识:0 表示Master, >0 表示Slave
brokerId=1
#nameServer地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除长期无用文件时间点,默认凌晨4点
deleteWhen=04
#文件保留时间(h),默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/zhipeng/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/home/zhipeng/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/home/zhipeng/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/zhipeng/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/home/zhipeng/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/zhipeng/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=SLAVE
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

9.然后对192.168.108.128机器上要部署的master2和slave1配置文件进行修改:

编辑broker-b.properties:

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-b
#主从标识:0 表示Master, >0 表示Slave
brokerId=0
#nameServer地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除长期无用文件时间点,默认凌晨4点
deleteWhen=04
#文件保留时间(h),默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/zhipeng/mq/rocketmq/mstore
#commitLog存储路径
storePathCommitLog=/home/zhipeng/mq/rocketmq/mstore/commitlog
#消费队列存储路径
storePathConsumeQueue=/home/zhipeng/mq/rocketmq/mstore/consumequeue
#消息索引存储路径
storePathIndex=/home/zhipeng/mq/rocketmq/mstore/index
#checkpoint 文件存储路径
storeCheckPoint=/home/zhipeng/mq/rocketmq/mstore/checkpoint
#abort 文件存储路径
abortFile=/home/zhipeng/mq/rocketmq/mstore/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=ASYNC_MASTER
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

编辑broker-a-s.properties:

#所属集群名称
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-a
#主从标识:0 表示Master, >0 表示Slave
brokerId=1
#nameServer地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许Broker自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许Broker自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除长期无用文件时间点,默认凌晨4点
deleteWhen=04
#文件保留时间(h),默认48小时
fileReservedTime=48
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/home/zhipeng/mq/rocketmq/store
#commitLog存储路径
storePathCommitLog=/home/zhipeng/mq/rocketmq/store/commitlog
#消费队列存储路径
storePathConsumeQueue=/home/zhipeng/mq/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/home/zhipeng/mq/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckPoint=/home/zhipeng/mq/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/home/zhipeng/mq/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#broker角色
#- ASYNC_MASTER    异步复制Master
#- SYNC_MASTER     同步双写Master
#- SLAVE    从节点
brokerRole=SLAVE
#刷盘策略
#- ASYNC_FLUSH    异步刷盘
#- SYNC_FLUSH     同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

10.修改配置文件runserver.sh,runbroker.sh  主要是修改JVM参数:因为rocketmq默认配置的JVM参数太大,本地资源有限,所以就改小点儿;命令:vim  home/zhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

命令:vim  home/zhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin/runbroker.sh    两台机器上的都要修改;

以上两台机器上的都要修改;

11.启动nameserver集群   

分别在192.168.108.128和192.168.108.129上启动nameServer  切换到bin目录下面   命令为:cd /home/zhipeng/mq/rocketmq/rocketmq-all-4.6.0-bin-release/bin    然后输入启动命令:nohup sh mqnamesrv &

12.启动broker集群

在192.168.108.128上启动master1和slave2

master1:
cd /home/zhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-a.properties &
slave2:
cd /home/zhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-b-s.properties &

在192.168.108.129上启动master2和slave1

master2:
cd /home/hezhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-b.properties &
slave1:
cd /home/hezhipeng/rocketMQ/rocketmq-all-4.6.0-bin-release/bin
nohup sh mqbroker -c /usr/local/mq/rocketmq/rocketmq-all-4.6.0-bin-release/conf/2m-2s-sync/broker-a-s.properties &

13.部署一个服务监控端

https://github.com/apache/rocketmq-externals  去这个网址下载rocketmq扩展项目代码; 本地解压目录如下

14.我们需要的就是rocketmq-console这个项目;该项目是springboot开发的,我们进入项目目录下本地用maven,打个jar包,然后将jar包上传到服务器启动就可以了;此处要【注意】:该项目需要对接nameserver集群进行监控,所以要去配置nameserver集群地址:去resource下找到application.properties文件进行编辑

指定nameSrvAddr为你的nameserver集群信息就可以了,用分号分隔;然后回到项目根目录打包 mvn package -Dmaven.test.skip=true等待打包完成.......去target下面拷贝jar包上传到任意一台虚机任意位置然后用nohup java -jar rocketmq-console-ng-1.0.1启动完成,在本地浏览器访问8080端口就可以了(默认为8080端口);


 


 

发布了99 篇原创文章 · 获赞 26 · 访问量 4万+

猜你喜欢

转载自blog.csdn.net/weixin_39643007/article/details/103602850

相关文章