kafka设计模式： 发布定阅
它是一个消息中间件，大数据思想，以前用mq,现在用kafka的比较多，但需要学会java，是java编写的，用python也可以，用的比较少, 不参与数据的产生和输出。只提供一个电台的机制，大家到电台发布节目，谁看不关心，谁要看到kafka定阅，而flume到一个地方收数据，一地方送数据。而kafka发数据与收数据需要自己写。kafka发布订阅中间起作用的是proker（经理人）。比如房地产，不会造房子，但是有了房子挂我这，替卖房子，买房子的看发布了信息，就到这来关注。kafka注意力主要是数据的缓存。多个proker称为集群。多个agend 也称为集群。
接下来实现flume kafka
首先在官网上下载kafka,版本要一致解压
接着我们用一张图来说明一下，kafka 不能自己运行，flume agend可以
(1)先配置zookeper
zookeeper 可以集群，万一有一个坏掉了，就考虑集群，这里就不说集群了。
cd opt/kafka_2.11-1.1.0/config 修改vi zookeeper.properties
只修改两个地方想做个更简单的信息，取得所有不带#符号的信息
接下来到shell 中启动zookeeper
首先jps看一下有没有其它进程，如果有其它进程kill掉 （比如 kill -9 2735）
jps 一下看下多了哪个进程
QuorumPeerMain------------控制台机制，zookeeper的进程,启动ok
接着启动broker,如果是单机看下官网
不修改
现在zookeeper和kafka broker已经启动成功了
创建一个电台叫cctv1先创建一个频道
cctv1创建成功,创建了一个topic,注：创建频道时不能带 (点 .) 和(一划线 _)
接下来我们查看一下创建的这个频道,命令到官网上查看复制过来的
接下来生产者向cctv1这个频道里灌数据
cat opt/kafka_2.11-1.1.0/config/server.properties 看下这个文件下监控的是什么端口可以看到默认监控的是9092，如果想改成其它端口就把#去掉，改端口号
但是经理人得到了这个数据，只有消费者才能看到这个数据
接着用flume连接kafka,vi conf/aa.conf 文件
ESC shift+z+z 保存并退出
flume 和kafka--consumer都发生了改变,马上收到了。flume主要做一些应用程序，把数据都保存到文件了，等到文件保存完数据，不需要重新读一遍，直接就收走了。flume就当做生产者了,kafka的消费者就看到了。