Debezium系列之:深入理解kafka connector在不同场景下的再平衡策略

Debezium系列之:深入理解kafka connector在不同场景下的再平衡策略

Kafka Connector集群由3个worker组成。Kafka Connect 中连接任务是新线程:

  • 第一个提供增量协作再平衡协议的 Kafka 客户端是 Kafka Connect,在 Kafka Connect 中,worker 之间平衡的资源是连接器及其任务。连接器是一个特殊的组件,主要与外部数据系统进行连接,并充当 Kafka 记录的源或接收器。连接任务是执行实际数据传输的结构。
  • 尽管 Connect 任务通常不会在本地存储状态,并且可以在从 Kafka 恢复状态后快速停止和恢复执行,但在每次重新平衡时停止集群可能会导致严重的延迟。在某些情况下(也称为重新平衡风暴),它可能会使集群进入连续重新平衡状态,并且 Connect 集群可能需要几分钟才能稳定。

下面列举几个典型场景,结合图文深入理解kafka connector在不同场景下的再平衡策略。

一、新的worker加入

在这里插入图片描述

  1. 一个新的工人加入(图 1)。在第一次重新平衡期间,领导者 (Worker1) 会计算一个新的全局分配,

猜你喜欢

转载自blog.csdn.net/zhengzaifeidelushang/article/details/125101021