【Kafka】kafka 再均衡监听器 ConsumerRebalanceListener

在这里插入图片描述

1.概述

再均衡指的是发生以下情况之一而造成的分区消息重新分配的情况:

  1. 消费者上下线消费组内的消费者数量发生了变化
  2. 消费者订阅的主题发生了变化
  3. 主题对应的分区变化

若在再均衡过程中采用了kafka的自动提交机制就可能造成再均衡前的消费者消费状态丢失的问题。比如消费者拉取并处理了一部分消息,还未来得及提交消费位移,但再均衡之后会将这个分区分配给别的消费者,

就会造成已经消费的消息再次被拉取消费。这种情况也可以通过将已经处理的消息的offset暂存在程序中,在再均衡之后通过seek方法重置到之前已经处理的offset来避免。

再均衡使用seek的这一步就涉及之前讲到的再均衡监听器ConsumerRebalanceListener:

public interface ConsumerRebalanceListener {
   
    
     
  void 

猜你喜欢

转载自blog.csdn.net/qq_21383435/article/details/108695592