kafka从入门到精通 以及 kafka 与sparkStreaming的俩种连接方式 kafka 对接flume

文章目录

• 一、kafka 入门及概述
  *1. 定义 作用
  *2. Kafka基础架构
  *3. 安装部署
  *4. Kafka命令行操作

• 二、kafka 架构深入
  *1. Kafka工作流程及文件存储机制
  *2. Kafka生产者
  *3. Kafka消费者
  *4. Kafka 高效读写数据的原因
  *5. Zookeeper在Kafka中的作用

• 三、Kafka API
  * 1. Producer API
  * 2. Consumer API
  * 3. 自定义Interceptor

• 四、Flume对接Kafka的实现

• 五、Kafka监控
  * 1. kafka manager
  * 2. kafka monitor

• 六、kafka与sparkStreaming的俩种连接方式
  * 1. 俩连接方式的介绍
  * 2. 直连方式实现
  * 3. reciver方式实现
  * 4. 俩种方式对比

正文
一、kafka 入门及概述
1. 定义： kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。消息队列作为消息中间件和java 中应用的RabbitMQ 功能是一样的。
这里的发布订阅模式如下图：个生产者多个消费者，消费者消费数据之后消息不会被清除。消息会定期处理（默认一周处理一次）
消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不
同，发布到topic的消息会被所有订阅者消费。一个组内只能消费一次， 这里发布订阅模式类似微博关注。。