事务消息

Apache RocketMQ在4.3.0版中已经支持分布式事务消息，这里RocketMQ采用了2PC的思想来实现了提交事务消息，同时增加一个补偿逻辑来处理二阶段超时或者失败的消息，如下图所示。

RocketMQ事务消息流程概要

上图说明了事务消息的大致方案，其中分为两个流程：正常事务消息的发送及提交、事务消息的补偿流程。

1.事务消息发送及提交： (1) 发送消息（half消息）。（嗅探 MQ Server 是否正常） (2) 服务端响应消息写入结果。 (3) 根据发送结果执行本地事务（如果写入失败，此时half消息对业务不可见，本地逻辑不执行）。 (4) 根据本地事务状态执行Commit或者Rollback（Commit操作生成消息索引，消息对消费者可见）

2.补偿流程： (1) 对没有Commit/Rollback的事务消息（pending状态的消息），从服务端发起一次“回查” (2) Producer收到回查消息，检查回查消息对应的本地事务的状态 (3) 根据本地事务状态，重新Commit或者Rollback 其中，补偿阶段用于解决消息Commit或者Rollback发生超时或者失败的情况。

RocketMQ事务消息设计

1.事务消息在一阶段对用户不可见在RocketMQ事务消息的主要流程中，一阶段的消息如何对用户不可见。其中，事务消息相对普通消息最大的特点就是一阶段发送的消息对用户是不可见的。那么，如何做到写入消息但是对用户不可见呢？RocketMQ事务消息的做法是：如果消息是half消息，将备份原消息的主题与消息消费队列，然后改变主题为RMQ_SYS_TRANS_HALF_TOPIC。由于消费组未订阅该主题，故消费端无法消费half类型的消息，然后RocketMQ会开启一个定时任务，从Topic为RMQ_SYS_TRANS_HALF_TOPIC中拉取消息进行消费，根据生产者组获取一个服务提供者发送回查事务状态请求，根据事务状态来决定是提交或回滚消息。在RocketMQ中，消息在服务端的存储结构如下，每条消息都会有对应的索引信息，Consumer通过ConsumeQueue这个二级索引来读取消息实体内容，其流程如下： RocketMQ的具体实现策略是：写入的如果事务消息，对消息的Topic和Queue等属性进行替换，同时将原来的Topic和Queue信息存储到消息的属性中，正因为消息主题被替换，故消息并不会转发到该原主题的消息消费队列，消费者无法感知消息的存在，不会消费。其实改变消息主题是RocketMQ的常用“套路”，回想一下延时消息的实现机制。 2.Commit和Rollback操作以及Op消息的引入在完成一阶段写入一条对用户不可见的消息后，二阶段如果是Commit操作，则需要让消息对用户可见；如果是Rollback则需要撤销一阶段的消息。先说Rollback的情况。对于Rollback，本身一阶段的消息对用户是不可见的，其实不需要真正撤销消息（实际上RocketMQ也无法去真正的删除一条消息，因为是顺序写文件的）。但是区别于这条消息没有确定状态（Pending状态，事务悬而未决），需要一个操作来标识这条消息的最终状态。RocketMQ事务消息方案中引入了Op消息的概念，用Op消息标识事务消息已经确定的状态（Commit或者Rollback）。如果一条事务消息没有对应的Op消息，说明这个事务的状态还无法确定（可能是二阶段失败了）。引入Op消息后，事务消息无论是Commit或者Rollback都会记录一个Op操作。Commit相对于Rollback只是在写入Op消息前创建Half消息的索引。 3.Op消息的存储和对应关系 RocketMQ将Op消息写入到全局一个特定的Topic中通过源码中的方法—TransactionalMessageUtil.buildOpTopic()；这个Topic是一个内部的Topic（像Half消息的Topic一样），不会被用户消费。Op消息的内容为对应的Half消息的存储的Offset，这样通过Op消息能索引到Half消息进行后续的回查操作。 4.Half消息的索引构建在执行二阶段Commit操作时，需要构建出Half消息的索引。一阶段的Half消息由于是写到一个特殊的Topic，所以二阶段构建索引时需要读取出Half消息，并将Topic和Queue替换成真正的目标的Topic和Queue，之后通过一次普通消息的写入操作来生成一条对用户可见的消息。所以RocketMQ事务消息二阶段其实是利用了一阶段存储的消息的内容，在二阶段时恢复出一条完整的普通消息，然后走一遍消息写入流程。 5.如何处理二阶段失败的消息？如果在RocketMQ事务消息的二阶段过程中失败了，例如在做Commit操作时，出现网络问题导致Commit失败，那么需要通过一定的策略使这条消息最终被Commit。RocketMQ采用了一种补偿机制，称为“回查”。Broker端对未确定状态的消息发起回查，将消息发送到对应的Producer端（同一个Group的Producer），由Producer根据消息来检查本地事务的状态，进而执行Commit或者Rollback。Broker端通过对比Half消息和Op消息进行事务消息的回查并且推进CheckPoint（记录那些事务消息的状态是确定的）。值得注意的是，rocketmq并不会无休止的的信息事务状态回查，默认回查15次，如果15次回查还是无法得知事务状态，rocketmq默认回滚该消息。

使用场景

比如我们在创建订单成功过后，发一个消息通知下游操作，保证发消息的过程和本地事务同时成功。

代码实践

定义 MQ 事务监听器


@Component
@RocketMQTransactionListener(txProducerGroup = "tx_create_order_group")
public class TransactionListenerImpl implements RocketMQLocalTransactionListener {

    private Logger logger = LoggerFactory.getLogger(TransactionListenerImpl.class);

    @Autowired
    private OrderService orderService;

    // 执行本地事务
    @Override
    public RocketMQLocalTransactionState executeLocalTransaction(Message message, Object o) {
        try {
            logger.info("TransactionListenerImpl.executeLocalTransaction 执行本地事务, txId：{}", 0);
            String event = new String((byte[]) message.getPayload(), StandardCharsets.UTF_8);
            CreateOrderDto orderDto = JSON.parseObject(event, CreateOrderDto.class);
            String txId = (String) message.getHeaders().get(RocketMQHeaders.TRANSACTION_ID);
            orderService.insertOrder(orderDto);
            logger.info("TransactionListenerImpl.executeLocalTransaction 执行本地事务, txId：{}", txId);
            return RocketMQLocalTransactionState.COMMIT;
        } catch (Throwable e) {
            String txId = (String) message.getHeaders().get(RocketMQHeaders.TRANSACTION_ID);
            logger.error("TransactionListenerImpl.executeLocalTransaction 执行本地事务, txId：{}, 执行失败", txId, e);
            return RocketMQLocalTransactionState.ROLLBACK;
        }
    }

    // 消息回查
    @Override
    public RocketMQLocalTransactionState checkLocalTransaction(Message message) {
        String txId = (String) message.getHeaders().get(RocketMQHeaders.TRANSACTION_ID);
        QueryOrderDto queryOrderDto = new QueryOrderDto();
        queryOrderDto.setTxId(txId);
        OrderDto order = orderService.queryOrder(queryOrderDto);
        logger.info("TransactionListenerImpl.checkLocalTransaction 消息回查, txId：{}", txId);
        if (order != null) {
            return RocketMQLocalTransactionState.COMMIT;
        }
        return RocketMQLocalTransactionState.ROLLBACK;
    }
}

复制代码

发消息的逻辑

@Component
@RocketMQTransactionListener(txProducerGroup = "tx_create_order_group")
public class TransactionListenerImpl implements RocketMQLocalTransactionListener {

    private Logger logger = LoggerFactory.getLogger(TransactionListenerImpl.class);

    @Autowired
    private OrderService orderService;

    @Override
    public RocketMQLocalTransactionState executeLocalTransaction(Message message, Object o) {
        try {
            logger.info("TransactionListenerImpl.executeLocalTransaction 执行本地事务, txId：{}", 0);
            String event = new String((byte[]) message.getPayload(), StandardCharsets.UTF_8);
            CreateOrderDto orderDto = JSON.parseObject(event, CreateOrderDto.class);
            String txId = (String) message.getHeaders().get(RocketMQHeaders.TRANSACTION_ID);
            orderService.insertOrder(orderDto);
            logger.info("TransactionListenerImpl.executeLocalTransaction 执行本地事务, txId：{}", txId);
            return RocketMQLocalTransactionState.COMMIT;
        } catch (Throwable e) {
            String txId = (String) message.getHeaders().get(RocketMQHeaders.TRANSACTION_ID);
            logger.error("TransactionListenerImpl.executeLocalTransaction 执行本地事务, txId：{}, 执行失败", txId, e);
            return RocketMQLocalTransactionState.ROLLBACK;
        }
    }

    @Override
    public RocketMQLocalTransactionState checkLocalTransaction(Message message) {
        String txId = (String) message.getHeaders().get(RocketMQHeaders.TRANSACTION_ID);
        QueryOrderDto queryOrderDto = new QueryOrderDto();
        queryOrderDto.setTxId(txId);
        OrderDto order = orderService.queryOrder(queryOrderDto);
        logger.info("TransactionListenerImpl.checkLocalTransaction 消息回查, txId：{}", txId);
        if (order != null) {
            return RocketMQLocalTransactionState.COMMIT;
        }
        return RocketMQLocalTransactionState.ROLLBACK;
    }
}

复制代码

其他代码

DTO 相关

public class CreateOrderDto {

    private String skuCode;

    private String userCode;

    private Integer quantity;
}

public class QueryOrderDto {
    private String txId;
}
复制代码

测试 Controller

@RestController
@RequestMapping("/order")
public class OrderController {

    @Autowired
    private OrderService orderService;

    @GetMapping("/createOrder")
    public String createOrder(CreateOrderDto createOrderDto) {
        return orderService.createOrder(createOrderDto);
    }
}

复制代码

测试和结论

访问测试接口 curl http://127.0.0.1:18080/order/createOrder\?userCode\=1\&skuCode\=1
控制台输出

结论：
- 事务消息可以很好的保证，本地事务和发消息操作的一致性。
- 但是，本地事务不一定能解决所有分布式事务问题，比如：RPC 访问和本地操作组成的事务操作。

RoceketMQ 事务消息实践