RocketMQ Broker
概述
- Broker即是物理上的概念，也是逻辑上的概念。多个物理Broker通过IP:PORT区分，多个逻辑Broker通过BrokerName区分。
- 多个逻辑Broker组成Cluster。
- Broker与Topic是多对多的关系。
- Broker自身包含一个使用10911端口的NettyServer、一个10909的NettyServer，以及一个NettyClient。
- HA通过10912端口提供服务，用于Broker内部各个部分的数据传输。
- Broker是最重要的部分，包括持久化消息、Broker集群一致性(HA)、保存历史消息、保存Consumer消费偏移量、索引创建等。
- Producer发送来的消息最终会通过CommitLog序列化到硬盘，执行序列化逻辑的类为AppendMessageCallback接口的实现类。
- Broker序列化消息是顺序写，序列化文件保存在userHome/store/commitlog目录下，文件名为总偏移量。
- 默认为异步刷盘、提交日志单个文件1个G、单个consumer队列文件为不到6M
处理Producer消息
Broker通过SendMessageProcessor.processRequest()处理Producer生成的消息，处理过程如下：
- 反序列化消息头为SendMessageRequestHeader对象实例。
- 构建消息上下文
- 执行前置钩子程序
- 处理message
- 判断当前系统时间是否在Broker配置的服务时间之后，只有条件成立broker才提供服务。
- 判断当前Broker是否允许写入
- 判断Topic是否为默认Topic
- 检查Topic是否存在于此Broker，不存在则尝试创建Topic
- 检查消息头中的queueId是否大于等于Topic允许的最大对列数。
- 处理retry和死信消息(如果消息的Topic为重试Topic，且重试次数大于最大重试次数则将消息放入死信Topic中)
- 根据Broker的配置和消息的TRAN_MSG属性判断是否处理事务消息
- 将消息转化后的MessageExtBrokerInner对象序列化通过MessageStore序列化到硬盘(从Broker不允许序列化、不允许写的Broker不允许序列化、Topic长度不能大于127、Mssage属性的长度不能大于32767、页缓存不能在忙的状态–根据时间判断)
- 通过CommitLog将消息序列化到硬盘
- 获取最新的MappedFile(因为是顺序写)后加锁
- 获取MappedFile当前的写入位置
- 从内存池(TransientStorePool)中获取内存，并将当前写入位置赋值到内存ByteBuffer中
- 获取总偏移量(由于CommitLog下文件名是本文件起始位置在Broker提供服务后的偏移量位置，所以当前MappedFile的起始偏移量+文件写入偏移量为总偏移量)
- 按照预定义格式将消息序列化到ByteBuffer中，具体序列化格式参见CommitLog.calMsgLength中的注释
- 调用刷盘、HA逻辑，根据当前Broker的状态进行实际处理。
- 将新的偏移量设置到MappedFile
- 以上过程对TransactionMessage特殊处理，符合TRANSACTION_PREPARED_TYPE和TRANSACTION_ROLLBACK_TYPE类型的事务消息对Consumer不可见的逻辑，queueOffset为0。
- 执行后置钩子程序
处理Consumer消息
Broker通过PullMessageProcessor.processRequest()处理Consumer生成的消息，处理过程如下：
- 判断当前Broker是否允许读
- 根据消息头的ConsumerGroupName获取本地存储的Consumer订阅信息
- 从ConsumeQueue中的MappedFileQueue根据偏移量获得MappedQueue获取消息
- 从MappedQueue中根据偏移量获取消息返回
内部服务
Broker内部有各种服务用于实现特定的功能，简介如下：
- IndexService，用于构建消息序列化文件的索引信息。将索引信息序列化到userName/store/index/当前时间文件中。
- AllocateMappedFileService，用于分配SubmitLog序列化使用的MappedFile。
- FlushConsumeQueueService，定时刷新ConsumeQueue到硬盘。
- TransientStorePool，类似于内存池，供各个MappedFile在序列化时借用内存处理。
- ScheduleMessageService，用于处理定时消息。
- ReputMessageService，重新分布消息同时会触发重新索引
- HAService，主、从Broker之间进行数据同步，只传输CommitLog序列化的消息。
- CleanCommitLogService，默认删除72小时之前过期的CommitLog序列化的消息。
- CleanConsumeQueueService，根据偏移量删除过期的ConsumeQueue，偏移量的值由最老的序列化消息文件决定。
- PullRequestHoldService，用于执行之前为未到数据且请求偏移量为0的PullRequest操作(即新注册的Consumer)，对于未找到数据的Pull操作不会返回给Consumer，而是待PullRequestHoldService本地代理请求。
- ClientHousekeepingService，扫描Producer、Consumer、FilterServer中超过120s未活动的NettyChannel，将不活动的Channel删除。
- FilterServerManager，此服务用于根据需要创建一到多个Java进程：FilterServer，FilterServer用于本地代理Consumer，过滤Broker的Message后给Consumer。