RocketMQ技术全面解析（概念、设计理念与目标、信息发送、同步发送--含代码！）

在这里插入图片描述

1.RocketMQ 介绍

消息队列 RocketMQ 是阿里巴巴集团基于高可用分布式集群技术，自主研发的云正式商用的专业消息中间件，既可为分布式应用系统提供异步解耦和削峰填谷的能力，同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性，是阿里巴巴双 11 使用的核心产品。
RocketMQ 的设计基于主题的发布与订阅模式，其核心功能包括消息发送、消息存储(Broker)、消息消费，整体设计追求简单与性能第一。

NameServer 设计及其简单，RocketMQ 摈弃了业界常用的 Zookeeper 充当消息管理的“注册中心”，而是使用自主研发的 NameServer 来实现各种元数据的管理（Topic 路由信息等）
高效的 I/O 存储，RocketMQ 追求消息发送的高吞吐量，RocketMQ 的消息存储设计成文件组的概念，组内单个文件固定大小，引入了内存映射机制，所有主题的消息存储基于顺序读写，极大提高消息写性能，同时为了兼顾消息消费与消息查找，引入消息消费队列文件与索引文件
容忍存在设计缺陷，适当将某些工作下放给 RocketMQ 的使用者，比如消息只消费一次，这样极大的简化了消息中间件的内核，使得 RocketMQ 的实现发送变得非常简单与高效。
RocketMQ 原先阿里巴巴内部使用，与 2017 年提交到 Apache 基金会成为 Apache 基金会的顶级开源项目，GitHub 代码库链接:https://github.com/apache/rocketmq.git
RocketMQ 的官网 http://rocketmq.apache.org/

MQ:消息中间件是什么？
消息中间件属于分布式系统中一个子系统，关注于数据的发送和接收，利用高效可靠的异步消息传递机制对分布式系统中的其余各个子系统进行集成

2.核心概念

2.1NameServer

NameServer 是整个 RocketMQ 的“大脑”，它是 RocketMQ 的服务注册中心,所以 RocketMQ需要先启动 NameServer 再启动 Rocket 中的 Broker。

Broker 在启动时向所有 NameServer 注册（主要是服务器地址等），生产者在发送消息之前先从 NameServer 获取 Broker 服务器地址列表（消费者一样），然后根据负载均衡算法从列表中选择一台服务器进行消息发送。
NameServer与每台 Broker 服务保持长连接，并间隔 30S 检查 Broker 是否存活，如果检测到 Broker 宕机，则从路由注册表中将其移除。这样就可以实现 RocketMQ 的高可用。具体细节后续的课程会进行讲解。

2.2主题

主题，Topic，消息主题，一级消息类型，生产者向其发送消息。消费者负责从 Topic 接收并消费消息。

2.3生产者

生产者：也称为消息发布者，负责生产并发送消息至 Topic。

2.4消费者

消费者：也称为消息订阅者，负责从 Topic 接收并消费消息。

扫描二维码关注公众号，回复： 12121828 查看本文章

2.5消息

消息：生产者或消费者进行消息发送或消费的主题，对于 RocketMQ 来说，消息就是字节数组。

3.核心概念

以下我们将总结下 Rocket 的整体运转。

NameServer 先启动
Broker 启动时向 NameServer 注册
生产者在发送某个主题的消息之前先从 NamerServer 获取 Broker 服务器地址列表（有可能是集群），然后根据负载均衡算法从列表中选择一台 Broker 进行消息发送。
NameServer 与每台 Broker 服务器保持长连接，并间隔 30S 检测 Broker 是否存活，如果检测到 Broker 宕机（使用心跳机制，如果检测超过 120S），则从路由注册表中将其移除。
消费者在订阅某个主题的消息之前从 NamerServer 获取 Broker 服务器地址列表（有可能是集群），但是消费者选择从 Broker 中订阅消息，订阅规则由 Broker 配置决定。

点我获取RocketMQ完整笔记-》》》》》》》》》》》》

4.RocketMQ 的设计理念和目标

4.1设计理念

整体设计思想 **80%**借鉴 Kafka.
基于主题的发布和订阅，其核心功能，消息发送、消息存储和消息消费。整体设计追求简单与性能。 NameServer 性能对比 Zookeeper 有极大的提升
高效的 IO 存储机制，基于文件顺序读写，内存映射机制
容忍设计缺陷，比如消息只消费一次，Rocket 自身不保证，从而简化 Rocket 的内核使得 Rocket 简单与高效，这个问题交给消费者去实现（幂等）。

4.2设计目标

架构模式：发布订阅模式，主要组件：消息发送者、消息服务器（消息存储）、消息消费、路由发现。
顺序消息：RocketMQ 可以严格保证消息有序
消息过滤：消息消费是，消费者可以对同一主题下的消息按照规则只消费自己感兴趣的消息，可以支持在服务端与消费端的消息过滤机制。
消息存储：一般 MQ 核心就是消息的存储，对存储一般来说两个维度:消息堆积能力和消息存储性能。RocketMQ 追求消息存储的高性能，引入内存映射机制，所有的主题消息顺序存储在同一个文件中。同时为了防止无限堆积，引入消息文件过期机制和文件存储空间报警机制。
消息高可用：

Rocket 关机、断电等情况下，Rokcet 可以确保不丢失消息（同步刷盘机制不丢失，异步刷盘会丢失少量）。
另外如果 Rocket 服务器因为 CPU、内存、主板、磁盘等关键设备损坏导致无法开机，这个属于单点故障，该节点上的消息全部丢失，如果开启了异步复制机制，Rocket 可以确保只丢失很少量消息。
如果引入双写机制，这样基本上可以满足消息可靠性要求极高的场景（毕竟两台主服务器同时故障的可能性还是非常小）
消息消费低延迟：RocketMQ在消息不发生消息堆积时，以长轮询模式实现准实时的消息推送模式。
确保消息必须被消费一次：消息确认机制(ACK)来确保消息至少被消费一次，一般 ACK 机制只能做到消息只被消费一次，有重复消费的可能。
消息回溯：已经消费完的消息，可以根据业务要求重新消费消息。
消息堆积：消息中间件的主要功能是异步解耦，还有个重要功能是挡住前端的数据洪峰，保证后端系统的稳定性，这就要求消息中间件具有一定的消息堆积能力，RocketMQ 采用磁盘文件存储，所以堆积能力比较强，同时提供文件过期删除机制。
定时消息：定时消息，定时消息是指消息发送到 Rocket Broker 上之后，不被消费者理解消费，要到等待一定的时间才能进行消费，apache 的版本目前只支持等待指定的时间才能被消费，不支持任意精度的定时消息消费。（一个说法是任意精度的定时消息会带来性能损耗，但是阿里云版本的 RocketMQ 却提供这样的功能，充值收费优先策略？）
消息重试机制：消息重试是指在消息消费时，如果发送异常，那么消息中间件需要支持消息重新投递，RocketMQ 支持消息重试机制。

5.RocketMq 中消息的发送

普通消息是指消息队列 RocketMQ 中无特性的消息，区别于有特性的定时/延时消息、顺序消息和事务消息。这些后续会细讲。 RocketMQ 发送普通消息有三种实现方式：单向(OneWay)发送、可靠同步发送、可靠异步发送。
消息生产的客户端依赖如下：

broker.conf

#是否允许 **Broker** 自动创建 Topic，建议线下开启，线上关闭 
autoCreateTopicEnable=true 
#是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭 
autoCreateSubscriptionGroup=true

5.1单向(OneWay)发送

5.1.1.代码演示

单向（Oneway）发送特点为发送方只负责发送消息，不等待服务器回应且没有回调函数触发，即只发送请求不等待应答。此方式发送消息的过程耗时非常短，一般在微秒级别。cn.enjoyedu.normal.OnewayProducer

点我获取RocketMQ完整笔记-》》》》》》》》》》》》》》》》》》

5.1.2.Producer Group（生产者分组）

生产者组，简单来说就是多个发送同一类消息的生产者称之为一个生产者组。在这里可以不用关心，只要知道有这么一个概念即可。RocketMQ 中的生产者组只能有一个在用的生产者。分组的作用如下（简单的场景不需要了解这个概念）：

标识一类 Producer
可以通过运维工具查询这个发送消息应用下有多个 Producer 实例
发送分布式事务消息时，如果 Producer 中途意外宕机，Broker 会主动回调 Producer Group 内的任意一台机器来确认事务状态。

5.1.3.Producer 实例

Producer 的一个对象实例，不同的 Producer 实例可以运行在不同进程内或者不同机器上。Producer 实例线程安全，可在同一进程内多线程之间共享。

5.1.4.Message Key

Key 一般用于消息在业务层面的唯一标识。对发送的消息设置好 Key，以后可以根据这个 Key 来查找消息。比如消息异常，消息丢失，进行查找会很方便。RocketMQ 会创建专门的索引文件，用来存储 Key 与消息的映射，由于是 Hash 索引，应尽量使 Key 唯一，避免潜在的哈希冲突。
Tag 和 Key 的主要差别是使用场景不同，Tag 用在 Consumer 代码中，用于服务端消息过滤，Key 主要用于通过命令进行查找消息
RocketMQ 并不能保证 message id 唯一，在这种情况下，生产者在 push 消息的时候可以给每条消息设定唯一的 key, 消费者可以通过 message key 保证对消息幂等处理。

5.1.5.Tag

消息标签，二级消息类型，用来进一步区分某个 Topic 下的消息分类。
Topic 与 Tag 都是业务上用来归类的标识，区分在于 Topic 是一级分类，而 Tag 可以理解为是二级分类。
以天猫交易平台为例，订单消息和支付消息属于不同业务类型的消息，分别创建 Topic_Order 和 Topic_Pay，其中订单消息根据商品品类以不同的 Tag 再进行细分，如电器类、男装类、女装类、化妆品类，最后他们都被各个不同的系统所接收。
通过合理的使用 Topic 和 Tag，可以让业务结构清晰，更可以提高效率。
您可能会有这样的疑问：到底什么时候该用 Topic，什么时候该用 Tag？
1）消息类型是否一致：如普通消息、事务消息、定时（延时）消息、顺序消息，不同的消息类型使用不同的 Topic，无法通过 Tag 进行区分。
2）业务是否相关联：没有直接关联的消息，如淘宝交易消息，京东物流消息使用不同的 Topic 进行区分；而同样是天猫交易消息，电器类订单、女装类订单、化妆品类订单的消息可以用 Tag 进行区分。
3）消息优先级是否一致：如同样是物流消息，盒马必须小时内送达，天猫超市 24 小时内送达，淘宝物流则相对会慢一些，不同优先级的消息用不同的 Topic 进行区分。
4）消息量级是否相当：有些业务消息虽然量小但是实时性要求高，如果跟某些万亿量级的消息使用同一个 Topic，则有可能会因为过长的等待时间而“饿死”，此时需要将不同量级的消息进行拆分，使用不同的 Topic。

5.2.可靠同步发送

####代码演示

同步发送是指消息发送方发出数据后，同步等待，直到收到接收方发回响应之后才发下一个请求。

点我获取更多-》》》》》》》》》》》》》》》》》》

5.2.1.Message ID

消息的全局唯一标识（内部机制的 ID 生成是使用机器 IP 和消息偏移量的组成，所以有可能重复，如果是幂等性还是最好考虑 Key），由消息队列 MQ 系统自动生成，唯一标识某条消息。

5.2.2.SendStatus

发送的标识。成功，失败等

5.2.3Queue

RocketMQ 收到消息后，所有主题的消息都存储在 commitlog文件中，当消息到达 commitlog 后，将会采用异步转发到消息队列，也就是 consumerqueue, Queue 是数据分片的产物，数据分片可以提高消费者的效率。(这个也是 RocketMQ 对比 Kafka 的不同，存储设计时有队列的概念)

broker.conf

# 在发送消息时，自动创建服务器不存在的 topic，默认创建的队列数 
defaultTopicQueueNums=4

5.3.可靠异步发送

5.3.1.代码演示

消息发送方在发送了一条消息后，不等接收方发回响应，接着进行第二条消息发送。发送方通过回调接口的方式接收服务器响应，并对响应结果进行处理

5.4.RocketMQ 中消息发送的权衡

三种发送方式的对比

整理不易!点个关注,收藏一下吧！

点我获取RocketMQ完整笔记-》》》》》》》》》》》》》》》》》》