1 消息中间件概述

消息队列中间件是分布式系统中重要的组件，主要解决 应用解耦，异步消息，流量削锋 等问题，实现高性能，高可用，可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ。

在这里插入图片描述

1.1 消息中间件产生的背景

在客户端与服务器进行通讯时，客户端调用后，必须等待服务对象完成处理返回结果才能继续执行。

在网络通讯中，Http 请求默认采用同步请求方式，基于请求与响应模式
在客户端与服务器进行通讯时，客户端调用服务端接口后，必须等待服务端完成处理后返回结果给客户端才能继续执行，这种情况属于同步调用方式。
如果服务器端发生网络延迟、不可达的情况，可能客户端也会受到影响。

点对点通信：客户的一次调用只发送给某个单独的目标对象。

1.2 什么是消息中间件

面向消息的中间件(MessageOrlented MiddlewareMOM)较好的解决了以上问题。发送者将消息发送给消息服务器，消息服务器将消息存放在若千队列中，在合适的时候再将消息转发给接收者。

这种模式下，发送和接收是 异步 的，发送者无需等待；二者的生命周期未必相同：发送消息的时候接收者不一定运行，接收消息的时候发送者也不一定运行；一对多通信：对于一个消息可以有多个接收者。

2 `JMS` 介绍

角色划分

提供者：实现JMS规范的消息中间件服务器 (存放消息容器)
客户端：发送或接收消息的应用程序
生产者/发布者：创建并发送消息的客户端（向消息容器存放消息）
消费者/订阅者：接收并处理消息的客户端
消息：应用程序之间传递的数据内容
消息模式：在客户端之间传递消息的方式，JMS中定义了主题和队列两种模式。

2.1 什么是 `JMS`？

JMS 是 java 的消息服务，JMS 的客户端之间可以通过 JMS 服务进行异步的消息传输。

2.2 什么是消息模型

○ Point-to-Point(P2P) --- 点对点
○ Publish/Subscribe(Pub/Sub)---  发布订阅

即 点对点 和 发布订阅 模型

2.2.1 `P2P` (点对点)

P2P 模式图

在这里插入图片描述

涉及到的概念

消息队列（Queue）
发送者(Sender)
接收者(Receiver)
每个消息都被发送到一个特定的队列，接收者从队列中获取消息。队列保留着消息，直到他们被消费或超时。

P2P 的特点

每个消息只有一个消费者（Consumer）(即一旦被消费，消息就不再在消息队列中)
发送者和接收者之间在时间上没有依赖性，也就是说当发送者发送了消息之后，不管接收者有没有正在运行，它不会影响到消息被发送到队列
接收者在成功接收消息之后需向队列应答成功

如果你希望发送的每个消息都应该被成功处理的话，那么你需要 P2P 模式。

应用场景

A用户与B用户发送消息

2.2.2 `Pub/Sub` (发布与订阅)

Pub/Sub 模式图

在这里插入图片描述

涉及到的概念

主题（Topic）
发布者（Publisher）
订阅者（Subscriber）

客户端将消息发送到主题。多个发布者将消息发送到Topic，系统将这些消息传递给多个订阅者。

Pub/Sub 的特点

每个消息可以有多个消费者

发布者和订阅者之间有时间上的依赖性。针对某个主题（Topic）的订阅者，它必须创建一个订阅者之后，才能消费发布者的消息，而且为了消费消息，订阅者必须保持运行的状态。

为了缓和这样严格的时间相关性，JMS允许订阅者创建一个可持久化的订阅。这样，即使订阅者没有被激活（运行），它也能接收到发布者的消息。

如果你希望发送的消息可以不被做任何处理、或者被一个消息者处理、或者可以被多个消费者处理的话，那么可以采用Pub/Sub模型

消息的消费

在 JMS 中，消息的产生和消息是异步的。对于消费来说，JMS 的消息者可以通过两种方式来消费消息。

同步
订阅者或接收者调用receive方法来接收消息，receive方法在能够接收到消息之前（或超时之前）将一直阻塞
异步
订阅者或接收者可以注册为一个消息监听器。当消息到达之后，系统自动调用监听器的onMessage方法。

应用场景

1.异步处理
2.应用解耦
3.流量削锋
4.消息通讯

用户注册、订单修改库存、日志存储

在这里插入图片描述

流量削锋也是消息队列中的常用场景，一般在秒杀或团抢活动中使用广泛。
应用场景：秒杀活动，一般会因为流量过大，导致流量暴增，应用挂掉。为解决这个问题，一般需要在应用前端加入消息队列。
a、可以控制活动的人数
b、可以缓解短时间内高流量压垮应用
在这里插入图片描述
用户的请求，服务器接收后，首先写入消息队列。假如消息队列长度超过最大数量，则直接抛弃用户请求或跳转到错误页面。
秒杀业务根据消息队列中的请求信息，再做后续处理
秒杀如何实现核心Redis+MQ+服务保护机制（服务降级、隔离、熔断）+服务限流+图形验证+token

3 `MQ` 产品的分类

RabbitMQ

是使用 Erlang 编写的一个开源的消息队列，本身支持很多的协议：AMQP、XMPP、SMTP、STOMP，也正是如此，使的它变的非常重量级，更适合于企业级的开发。同时实现了一个经纪人(Broker)构架，这意味着消息在发送给客户端时先在中心队列排队。对路由(Routing)，负载均衡(Load balance)或者数据持久化都有很好的支持。

Redis

是一个 Key-Value 的 NoSQL 数据库，开发维护很活跃，虽然它是一个 Key-Value 数据库存储系统，但它本身支持 MQ 功能，所以完全可以当做一个轻量级的队列服务来使用。对于 RabbitMQ 和 Redis 的入队和出队操作，各执行100万次，每10万次记录一次执行时间。测试数据分为128Bytes、512Bytes、1K和10K四个不同大小的数据。实验表明：入队时，当数据比较小时Redis的性能要高于RabbitMQ，而如果数据大小超过了10K，Redis则慢的无法忍受；出队时，无论数据大小，Redis 都表现出非常好的性能，而 RabbitMQ 的出队性能则远低于 Redis。

ZeroMQ

号称最快的消息队列系统，尤其针对大吞吐量的需求场景。ZMQ 能够实现 RabbitMQ 不擅长的高级/复杂的队列，但是开发人员需要自己组合多种技术框架，技术上的复杂度是对这MQ能够应用成功的挑战。ZeroMQ 具有一个独特的非中间件的模式，你不需要安装和运行一个消息服务器或中间件，因为你的应用程序将扮演了这个服务角色。你只需要简单的引用ZeroMQ程序库，可以使用NuGet安装，然后你就可以愉快的在应用程序之间发送消息了。但是ZeroMQ仅提供非持久性的队列，也就是说如果down机，数据将会丢失。其中，Twitter的Storm中使用ZeroMQ作为数据流的传输。

ActiveMQ

是 Apache 下的一个子项目。类似于 ZeroMQ，它能够以代理人和点对点的技术实现队列。同时类似于 RabbitMQ，它少量代码就可以高效地实现高级应用场景。RabbitMQ、ZeroMQ、ActiveMQ 均支持常用的多种语言客户端 C++、Java、.Net,、Python、 Php、 Ruby等。

Kafka

Kafka 是 Apache 下的一个子项目，是一个高性能跨语言分布式 Publish/Subscribe 消息队列系统，而Jafka是在Kafka之上孵化而来的，即Kafka的一个升级版。具有以下特性：快速持久化，可以在O(1)的系统开销下进行消息持久化；高吞吐，在一台普通的服务器上既可以达到10W/s的吞吐速率；完全的分布式系统，Broker、Producer、Consumer都原生自动支持分布式，自动实现复杂均衡；支持Hadoop数据并行加载，对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka通过Hadoop的并行加载机制来统一了在线和离线的消息处理，这一点也是本课题所研究系统所看重的。Apache Kafka相对于ActiveMQ是一个非常轻量级的消息系统，除了性能非常好之外，还是一个工作良好的分布式系统。
其他一些队列列表HornetQ、Apache Qpid、Sparrow、Starling、Kestrel、Beanstalkd、Amazon SQS就不再一一分析。

在这里插入图片描述

4 `ActiveMQ` 使用

4.1 `docker` 安装 `ActiveMQ`

ActiveMQ 部署其实很简单，和所有 Java 一样，要跑 Java 程序就必须先安装 JDK 并配置好环境变量，这个很简单。

拉取镜像

docker pull rmohr/activemq

拉取镜像

docker run -d --name activemq -p 61616:61616 -p 8161:8161 --restart=always rmohr/activemq

-p 61616:61616：客户端连接ActiveMQ的端口
-p 8161:8161：管理界面端口
--restart=always：自动重启

浏览器访问：http://192.168.153.11:8161/

默认用户名密码为admin、admin。

在这里插入图片描述

控制台介绍

Number Of Consumers 消费者这个是消费者端的消费者数量
Number Of Pending Messages 等待消费的消息这个是当前未出队列的数量。可以理解为总接收数-总出队列数
Messages Enqueued 进入队列的消息进入队列的总数量,包括出队列的。这个数量只增不减
Messages Dequeued 出了队列的消息可以理解为是消费这消费掉的数量

这个要分两种情况理解
在 queues 里它和进入队列的总数量相等(因为一个消息只会被成功消费一次)，如果暂时不等是因为消费者还没来得及消费。
在 topics里它因为多消费者从而导致数量会比入队列数高。

简单的理解上面的意思就是

当有一个消息进入这个队列时，等待消费的消息是1，进入队列的消息是1。
当消息消费后，等待消费的消息是0，进入队列的消息是1，出队列的消息是1。
在来一条消息时，等待消费的消息是1，进入队列的消息就是2。
没有消费者时 Pending Messages 和入队列数量一样
有消费者消费的时候 Pedding会减少出队列会增加
到最后就是入队列和出队列的数量一样多

以此类推，进入队列的消息和出队列的消息是池子，等待消费的消息是水流。

4.2 实现点对点通讯模式

使用 ActiveMQ 完成点对点（p2p）通讯模式

引入 pom 文件依赖

<dependency>
    <groupId>org.apache.activemq</groupId>
    <artifactId>activemq-core</artifactId>
    <version>5.7.0</version>
</dependency>

创建队列

在这里插入图片描述

生产者

package com.snow.mq;

import org.apache.activemq.ActiveMQConnectionFactory;

import javax.jms.*;

public class Provider {

    /**
     * mq通讯地址
     */
    private final static String URL = "tcp://192.168.153.11:61616";
    /**
     * 队列名称
     */
    private final static String QUEUENAME = "my_queue";

    public static void main(String[] args) throws JMSException {

        // 1.创建ActiveMQFactory
        ActiveMQConnectionFactory factory = new ActiveMQConnectionFactory(URL);
        // 2.创建连接
        Connection cnnection = factory.createConnection();
        // 3.启动连接
        cnnection.start();
        // 4.创建Session 不开启事务,自动签收模式
        Session session = cnnection.createSession(false, Session.AUTO_ACKNOWLEDGE);
        // 5.创建一个目标
        Queue queue = session.createQueue(QUEUENAME);
        // 6.创建生产者
        MessageProducer producer = session.createProducer(queue);
        for (int i = 1; i <= 10; i++) {
            // 7.创建消息
            TextMessage textMessage = session.createTextMessage("消息" + i);
            // 8.发送消息
            producer.send(textMessage);
            System.out.println(textMessage.toString());
        }
        // 9.关闭连接
        cnnection.close();
    }
}

消费者

package com.snow.mq;

import org.apache.activemq.ActiveMQConnectionFactory;

import javax.jms.*;

public class Consumer {
    /**
     * mq通讯地址
     */
    private final static String URL = "tcp://192.168.153.11:61616";
    /**
     * 队列名称
     */
    private final static String QUEUENAME = "my_queue";

    public static void main(String[] args) throws JMSException {
        // 1.创建ActiveMQFactory
        ActiveMQConnectionFactory factory = new ActiveMQConnectionFactory(URL);
        // 2.创建连接
        Connection cnnection = factory.createConnection();
        // 3.启动连接
        cnnection.start();
        // 4.创建Session 不开启事务,自动签收模式
        Session session = cnnection.createSession(false, Session.AUTO_ACKNOWLEDGE);
        // 5.创建一个目标
        Queue queue = session.createQueue(QUEUENAME);
        // 6.创建生产者
        MessageConsumer createConsumer = session.createConsumer(queue);
        createConsumer.setMessageListener(new MessageListener() {

            public void onMessage(Message message) {
                try {
                    TextMessage textMessage = (TextMessage) message;
                    System.out.println("消费者消费消息:" + textMessage.getText());
                } catch (Exception e) {
                    // TODO: handle exception
                }
            }
        });
        // 先不要关闭连接
    }
}

测试

先运行消息提供者，再运行消费者，控制台打印：

消费者消费消息:消息1
消费者消费消息:消息2
消费者消费消息:消息3
消费者消费消息:消息4
消费者消费消息:消息5
消费者消费消息:消息6
消费者消费消息:消息7
消费者消费消息:消息8
消费者消费消息:消息9
消费者消费消息:消息10

4.3 `JMS` 消息可靠机制

ActiveMQ 消息签收机制：

客戶端成功接收一条消息的标志是一条消息被签收，成功应答。

消息的签收情形分两种：

1、带事务的 session

如果 session 带有事务，并且事务成功提交，则消息被自动签收。如果事务回滚，则消息会被再次传送。

2、不带事务的 session

不带事务的 session 的签收方式，取决于 session 的配置。

Activemq 支持一下三種模式：

Session.AUTO_ACKNOWLEDGE 消息自动签收
Session.CLIENT_ACKNOWLEDGE 客戶端调用acknowledge方法手动签收 textMessage.acknowledge(); //手动签收
Session.DUPS_OK_ACKNOWLEDGE 不是必须签收，消息可能会重复发送。在第二次重新传送消息的时候，消息只有在被确认之后，才认为已经被成功地消费了。消息的成功消费通常包含三个阶段：客户接收消息、客户处理消息和消息被确认。在事务性会话中，当一个事务被提交的时候，确认自动发生。在非事务性会话中，消息何时被确认取决于创建会话时的应答模式（acknowledgement mode）。该参数有以下三个可选值：
- Session.AUTO_ACKNOWLEDGE：当客户成功的从receive方法返回的时候，或者从MessageListener.onMessage方法成功返回的时候，会话自动确认客户收到的消息。
- Session.CLIENT_ACKNOWLEDGE:客户通过调用消息的acknowledge方法确认消息。需要注意的是，在这种模式中，确认是在会话层上进行，确认一个被消费的消息，将自动确认所有已被会话消费的消息。例如，如果一个消息消费者消费了10个消息，然后确认第5个消息，那么所有10个消息都被确认。
- Session.DUPS_ACKNOWLEDGE:该选择只是会话迟钝的确认消息的提交。如果JMS Provider失败，那么可能会导致一些重复的消息。如果是重复的消息，那么JMS provider必须把消息头的JMSRedelivered字段设置为true、

4.4 `ActiveMQ` 消息数据持久化问题

场景问题：服务器断电重启，未被消费的消息是否会在重启之后被继续消费？

两种选择：非持久性模式/持久性模式

非持久性模式：服务器断电(关闭)之后，使用非持久性模式时，没有被消费的消息不会继续消费全部丢失；
程序会报一个连接关闭异常停止运行，继续启动服务器运行程序，不会接收任何消息。
持久性模式：服务器断电(关闭)后，使用持久性模式时，没有被消费的消息会继续消费；

程序也会报连接关闭异常，但再次启动服务器和程序后，接收方还能继续原来的消息再次接收。

PERSISTENT：指示 JMS provider 持久保存消息，以保证消息不会因为 JMS provider 的失败而丢失
NON_PERSISTENT：不要求 JMS provider 持久保存消息

// 设置消息持久化
producer.setDeliveryMode(DeliveryMode.PERSISTENT);

4.5 发布订阅

创建 topic

在这里插入图片描述

生产者

package com.snow.mq;

import org.apache.activemq.ActiveMQConnectionFactory;

import javax.jms.*;

public class Provider {

    /**
     * mq通讯地址
     */
    private final static String URL = "tcp://192.168.153.11:61616";
    /**
     * 主题名称
     */
    private final static String TOPICNAME = "my_topic";

    public static void main(String[] args) throws JMSException {
        // 1.创建ActiveMQFactory
        ActiveMQConnectionFactory factory = new ActiveMQConnectionFactory(URL);
        // 2.创建连接
        Connection cnnection = factory.createConnection();
        // 3.启动连接
        cnnection.start();
        // 4.创建Session 不开启事务,自动签收模式
        Session session = cnnection.createSession(false, Session.AUTO_ACKNOWLEDGE);
        // 5.创建一个目标
        Topic createTopic = session.createTopic(TOPICNAME);
        // 6.创建生产者
        MessageProducer producer = session.createProducer(createTopic);
        // 设置消息持久化
        producer.setDeliveryMode(DeliveryMode.PERSISTENT);
        for (int i = 1; i <= 10; i++) {
            // 7.创建消息
            TextMessage textMessage = session.createTextMessage("消息" + i);
            // 8.发送消息
            producer.send(textMessage);
            System.out.println(textMessage.toString());
        }
        // 9.关闭连接
        cnnection.close();
    }
}

消费者

package com.snow.mq;

import org.apache.activemq.ActiveMQConnectionFactory;

import javax.jms.*;

public class Consumer {
    /**
     * mq通讯地址
     */
    private final static String URL = "tcp://192.168.153.11:61616";
    /**
     * 主题名称
     */
    private final static String TOPICNAME = "my_topic";

    public static void main(String[] args) throws JMSException {
        // 1.创建ActiveMQFactory
        ActiveMQConnectionFactory factory = new ActiveMQConnectionFactory(URL);
        // 2.创建连接
        Connection cnnection = factory.createConnection();
        // 3.启动连接
        cnnection.start();
        // 4.创建Session 不开启事务,自动签收模式
        Session session = cnnection.createSession(false, Session.AUTO_ACKNOWLEDGE);
        // 5.创建一个目标
        Topic topic = session.createTopic(TOPICNAME);
        // 6.创建生产者
        MessageConsumer createConsumer = session.createConsumer(topic);
        createConsumer.setMessageListener(new MessageListener() {

            public void onMessage(Message message) {
                try {
                    TextMessage textMessage = (TextMessage) message;
                    System.out.println("消费者消费消息:" + textMessage.getText());
                } catch (Exception e) {
                    // TODO: handle exception
                }
            }
        });
        // 先不要关闭连接
    }
}

测试

先启动消费者，后启动生产者，控制台打印：

消费者消费消息:消息1
消费者消费消息:消息2
消费者消费消息:消息3
消费者消费消息:消息4
消费者消费消息:消息5
消费者消费消息:消息6
消费者消费消息:消息7
消费者消费消息:消息8
消费者消费消息:消息9
消费者消费消息:消息10

不知所起一往而深

发布了675 篇原创文章 · 获赞 214 · 访问量 14万+

他的留言板关注

3 -【消息中间件 - ActiveMQ 】- 1 ActiveMQ 入门

1 消息中间件概述

1.1 消息中间件产生的背景

1.2 什么是消息中间件

2 `JMS` 介绍

2.1 什么是 `JMS`？

2.2 什么是消息模型

2.2.1 `P2P` (点对点)

2.2.2 `Pub/Sub` (发布与订阅)

3 `MQ` 产品的分类

4 `ActiveMQ` 使用

4.1 `docker` 安装 `ActiveMQ`

4.2 实现点对点通讯模式

4.3 `JMS` 消息可靠机制

4.4 `ActiveMQ` 消息数据持久化问题

4.5 发布订阅

猜你喜欢

3 -【 消息中间件 - ActiveMQ 】- 1 ActiveMQ 入门

1 消息中间件概述

1.1 消息中间件产生的背景

1.2 什么是消息中间件

2 JMS 介绍

2.1 什么是 JMS？

2.2 什么是消息模型

2.2.1 P2P (点对点)

2.2.2 Pub/Sub (发布与订阅)

3 MQ 产品的分类

4 ActiveMQ 使用

4.1 docker 安装 ActiveMQ

4.2 实现点对点通讯模式

4.3 JMS 消息可靠机制

4.4 ActiveMQ 消息数据持久化问题

4.5 发布订阅

猜你喜欢

3 -【消息中间件 - ActiveMQ 】- 1 ActiveMQ 入门

2 `JMS` 介绍

2.1 什么是 `JMS`？

2.2.1 `P2P` (点对点)

2.2.2 `Pub/Sub` (发布与订阅)

3 `MQ` 产品的分类

4 `ActiveMQ` 使用

4.1 `docker` 安装 `ActiveMQ`

4.3 `JMS` 消息可靠机制

4.4 `ActiveMQ` 消息数据持久化问题