Kafka中的topic和partition

在Kafka中,topic是一个存储消息的逻辑概念,可以认为是一个消息集合。物理上来说,不同的Topic的消息是分开存储的,每个topic可以胸个生产者向它发送消息,也可以有多个消费者去消费其中的消息。

每个topic可以划分多个分区,同一topic下的不同分区包令的消息是不同的。每个消息在被添加到分区时,都会分配一个offset,它是消息在此分区中唯一编号 ,Kafka通过offset保证消息在分区内的顺序,offset的顺序不跨分区,即Kafka中保证在同一个分区内的消息是有序的。

producer发送消息以不同的partition中,consumer接受数据的时候是按照group来接受,kafka确保每个partition只能同一个group中的一个consumer消费,如果想要重复消费,那么需要其他的组来消费。Zookeeper中保存每个topic下的每个partition在每个group中消费的offset

猜你喜欢

转载自blog.csdn.net/qq_39674417/article/details/113089146