ActiveMQ高可用+负载均衡

mq在分布式系统中是所有系统的消息总线,在生产环境中必须要尽量保证mq的正常运行,所以一般都会使用master-slave,保证master挂掉时slave可以顶上继续工作 . 但是仅仅是master-slave的话只能保证高可用,却无法做到负载均衡,如果mq因负载过大挂掉, master-slave也无法解决这种问题,那么就必须配置负载均衡

activemq 的master-slave部署方式

shared filesystem Master-Slave部署方式, 基于共享数据存储目录,多个broker共享存储的文件系统,谁抢到存储文件的控制权谁是master
shared database Master-Slave方式 ,基于共享数据库,跟第一种类似
Replicated LevelDB Store方式,基于zookeeper + leveldb。 leveldb是谷歌的一个高性能kv数据库. 这中方式是ActiveMQ5.9以后才新增的，原理就是使用ZooKeeper协调选举一个node作为master, 被选择的master broker node开启并接受客户端连接。如果master挂掉，得到了最新更新数据的slave就会成为master。挂掉的节点恢复后能够重新加入到网络中并连接master进入slave 模式.

前两种要保证共享文件系统或数据库的高可用和性能才能保证mq的高可用，有时候上述并不容易满足,我们就使用第三种方式搭建master-slave集群.

环境

由于我们只有两台主机,我们测试就在每一台主机上搭建一个伪master-slave集群,然后两个集群再相互连接完成负载均衡

jdk : jdk8
zookeeper: 3.2
activemq: 5.15
主机1：192.168.0.103  
主机2：192.168.0.104

搭建master-slave集群

步骤:

下载-->解压-->拷贝3份activemq(5.9以后版本),保证单独运行没有问题

2.修改每个activemq的持久化方式

vi  ACTIVEMQ_HOME/conf/activemq.xml

将默认的kahadb 修改为如下配置,zookeeper我做了集群,嫌麻烦直接使用单点Zookeeper也不影响

//directoryleveldb数据保存路径
//bind 服务端口
//replicas表示master-slave集群中节点个数
//zkAddress依次指定三台服务器的ip和ZooKeeper的监听端口
//zkPah在zookeeper中注册的节点路径
//hostname为每一台服务器的ip地址，三台服务器根据实际情况修改
<persistenceAdapter>
     <replicatedLevelDB directory="${activemq.data}/leveldb"  replicas="3"
    bind="tcp://0.0.0.0:62621"
    zkAddress="localhost:2181,localhost:2182,localhost:2183"
    hostname="localhost"
    zkPath="/activemq/leveldb-stores"/> 
</persistenceAdapter>

3.修改activemq的TCP服务端口
该配置也在 ACTIVEMQ_HOME/conf/activemq.xml, 默认61616 , 相同机器不能重复,否则端口冲突,我这里为61616 ,61617, 61618
4.修改jetty端口
activemq 使用jetty运行服务, 修改 ACTIVEMQ_HOME/conf/jetty.xml 端口保证三个不能相同
依次改为8161 , 8162, 8163

启动zookeeper, 启动三个activemq 实例
验证
登录Zookeeper 客户端
执行: ls /activemq/leveldb-stores
查看节点发现/activemq/leveldb-stores下有三个节点,每一个代表一个activemq服务

image.png

查看每个节点的数据,其中elected 不为null 的就是master, 为null 的是slave

image.png

也可以下载zookeeper可视化工具:
https://issues.apache.org/jira/secure/attachment/12436620/ZooInspector.zip；
运行ZooInspector\build\zookeeper-dev-ZooInspector.jar 可以查看节点数据

ps:只有master接受请求,slave不接受请求,也无法使用管理界面

配置负载均衡

我们已经搭建好了一个集群, 可以使用scp 命令将三个activemq文件拷贝一份到另一台主机即可得到另一个集群

#activemqCluster  是我本机的activemq 集群安装目录
scp -r  activemqCluster  [email protected]:/soft

在集群1的activemq.xml中链接集群2（在persistenceAdapter标签前配置）：

<networkConnectors>
    <networkConnector uri="static:(tcp://192.168.0.103:61616,tcp://192.168.0.103:61617,tcp://192.168.0.103:61618)" duplex="false"/>
</networkConnectors>

在集群2的activemq.xml中链接集群1（在persistenceAdapter标签前配置）：

<networkConnectors>
    <networkConnector uri="static:(tcp://192.168.0.104:61616,tcp://192.168.0.104:61617,tcp://192.168.0.104:61618)" duplex="false"/>
</networkConnectors>

这样就实现了ActiveMQ的集群高可用负载均衡功能。
项目中activemq配置地址应改为：
failover:(tcp://192.168.0.103:61616,tcp://192.168.0.103:61617,tcp://192.168.0.103:61618)?randomize=false
或：
failover:(tcp://192.168.0.104:61616,tcp://192.168.0.104:61617,tcp://192.168.0.104:61618)?randomize=false

测试

1.测试master-slave , 关闭master(61616),自动切换master为61617并重新连接(切换时不能保证数据完整性). 再关闭一个服务61617,超过半数挂掉,服务不可用, 客户端被阻塞不能再发送消息

image.png

测试负载均衡
最终的架构就是两个master-slave集群相互连通,两个集群可以相互消费对方的消息,但是如果客户端所连接的集群挂掉客户端依然是不能发送消息的,也就是说activemq的负载均衡只是做到消费的负载均衡,高可用是靠master-slave来保证的。

我们启动两个消费者服务监听相同的队列名
mq的地址分别配置为

failover:(tcp://192.168.0.103:61616,tcp://192.168.0.103:61617,tcp://192.168.0.103:61618)?randomize=false
和：
failover:(tcp://192.168.0.104:61616,tcp://192.168.0.104:61617,tcp://192.168.0.104:61618)?randomize=false

启动后向104集群不停发送消息,发现两个消费者都能消费发送向104集群的消息,只不过打印日志有些区别,连接103集群的消费者服务显示通过FailoverTransport连接到104的matser