快速入门kafka① Kafka介绍

一、消息队列

消息(Message):是指在应用之间传送的数据,消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。
       消息队列(Message Queue):是一种应用间的通信方式,消息发送后可以立即返回,有消息系统来确保信息的可靠专递,消息发布者只管把消息发布到MQ中而不管谁来取,消息使用者只管从MQ中取消息而不管谁发布的,这样发布者和使用者都不用知道对方的存在。

二、Kafka消息队列

       Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log),,之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。它的分区特性,可复制和可容错都是其不错的特性。

三、消息队列的应用场景

应用耦合: 多应用间通过消息队列对同一消息进行处理,避免调用接口失败导致整个过程失败。

异步处理:多应用对消息队列中同一消息进行处理,应用间并发处理消息,相比串行处理,减少处理时间。

限流削锋:广泛应用于秒杀或抢购活动中,避免流量过大导致应用系统挂掉的情况。

消息驱动的系统:系统分为消息队列、消息生产者、消息消费者,生产者负责产生消息,消费者(可能有多个)负责对消息进行处理;

四、消息队列两种模式

发送者(生产者):生产数据的一方/将数据推送到队列中的一方

接收者(消费者):在队列中读取了数据的以一方

kafka的基本介绍

         Kafka是一个分布式的,分区的,多副本的,多订阅者的消息发布订阅系统。
         支持Topic进行归类
         数据发送者(生产者)Producer
         数据接收者(消费者)Consumer
         Kafka节点(存数据)broker

kafka 消息保留在磁盘上,并在集群内复制一方数据丢失
支持数据持久化,消费端为啦模式来主动拉取数据。
Consumer Group:每一个Consumer属于一个特定的Consumer Group(可以为每个Consumer指定 groupName)
Broker:kafka集群中包含一个或者多个服务实例


Topic:每条发布到kafka集群的消息都必须有一个类别(topic)
Partition:Partition是一个物理上的概念,每个Topic包含一个或者多个Partition
segment:一个partition当中存在多个segment文件段,每个segment分为两部分,.log文件和.index文件。
              其中.index文件是索引文件,主要用于快速查询.log文件当中数据的偏移量位置
               . log:存放数据文件

2

发布了88 篇原创文章 · 获赞 99 · 访问量 21万+

猜你喜欢

转载自blog.csdn.net/qq_43791724/article/details/104931788