【kafka专栏】针对kafka的简单介绍

一、Kafka简介

Kafka 是由Linkedin公司开发的一款开源的用于实时流式数据处理的平台,也可以说是一款具有分布式、多分区、多副本、多生产者及消费者的消息队列中间件。

关于kafka更多的名词堆砌式的介绍,我就不多说了,也没有太多实际的意义。

二、Kafka 的特性

  • 高吞吐、低延迟:kafka 处理数据的速度可以达到每秒几百万条(数据处理速度主要受每条数据的大小影响),数据传递的延迟最低可以达到几毫秒。kakfa之所以能做到这点,是因为
    • 实现了零拷贝避免了从内核空间与用户空间的数据复制。
    • kafka数据顺序写入磁盘,从而避免随机写磁盘寻址导致时间上的浪费。之所以能够顺序写盘,是因为kafka文件不提供数据寻址删除的能力。
    • 有效的数据压缩并减少 I/O 延迟
    • 数据生产者采用数据批量发送的方式,而不是逐条发送至kafka服务端
  • 数据持久性、可靠性:kafka接收到的数据会进行持久化的保存到磁盘上,并且存在多副本的备份机制,所以一定程度上保证了数据持久性、可靠性。
  • 高可用容错性:kafka将消息分成多个主题(topic

猜你喜欢

转载自blog.csdn.net/hanxiaotongtong/article/details/124406460