Kafka学习笔记(一) —— 初识

1. kafka的使用场景

上游模块或系统产生数据,下游模块或系统使用数据、分析数据、计算数据,这样的就可以使用消息系统。
我个人认为就是,可以异步处理,一个管生产、一个管消费,关系基本稳定不会倒置,就可以使用消息系统。
还有一种场景就是,把数据放到消息中间件里存放,不存放在数据库里。这些数据顺序存在消息中间件,反而比存在数据库随机读写效率要快。

kafka现在可以和Apache flume(日志收集系统)、Apache Storm(实时数据处理)、Spark(内存数据处理)、elasticSearch(全文检索系统)可以做到无缝对接。

2. 主流消息中间件对比

这里写图片描述

  1. 可以看到ActiveMQ 和 Kafka都是使用基于JVM的语言编写
  2. RabbitMQ使用Erlang和go语言差不多,本身就支持高并发。但严格遵守AMQP协议,所以受到约束,性能反而不如Kafka整体性能高
  3. Kafka主要目标是高性能,自己设计并使用了一种协议,并不主流。仿AMQP
  4. 事务,只有ActiveMQ支持。RabbitMQ和Kafka为追求更高的性能,牺牲了事务的特性
  5. 负载均衡:要把请求分发到集群,避免某台机器上压力过大,甚至宕机
  6. 动态扩容:如果不支持动态扩容,就需要服务停机,很多公司不可接受。Kafka可以支持在线不停机扩容
  7. Kafka的动态扩容是通过zookeeper来实现的。
  8. zookeeper是广泛应用在分布式系统中,用来管理分布式状态管理、分布式心跳管理、分布式配置管理、分布式锁服务的集群
  9. Kafka动态扩容时,在zookeeper的节点上触发相应的事件,Kafka会捕获这些事件,进行新一轮的负载均衡,客户端捕获这些事件进行相应的自定义处理,

猜你喜欢

转载自blog.csdn.net/gezilan/article/details/80316278