2016年5月Confluent官方宣布Apache Kafka 0.10正式发布（里面废弃了receive）-----0.8没有废弃receive
receiver 使用的是老的Api也叫高级的Api，高级Api它使用起来省事，但效率低下，这个偏移量默认是写在zookeeper中的，我们没法手动维护，
direct 一个消费者直接连接到kafka的一个分区上，它是使用kafka更加底层的消费Api,效率高，但这个偏移量就需要你自己维护了，
spark 1.6.2(2016.6.25) ----2.0.1(2016.10.4)
sparkStreaming 2.0.1
kafka 0.10.0.1(2016.8.10)
flume 1.6(2015.5.20)------- 1.7(2016.10.17)有了官方的tailDir
scala 2.10
hbase 0.98.x
hive 1.2
zookeeper 3.4
hadoop 2.7
elasticSearch 2.3
常见端口汇总：
Hadoop：
50070：HDFS WEB UI端口
8020 ： 高可用的HDFS RPC端口
9000 ： 非高可用的HDFS RPC端口
8088 ： Yarn 的WEB UI 接口
8485 ： JournalNode 的RPC端口
8019 ： ZKFC端口
19888：jobhistory WEB UI端口
Zookeeper:
2181 ： 客户端连接zookeeper的端口
2888 ： zookeeper集群内通讯使用，Leader监听此端口
3888 ： zookeeper端口 用于选举leader
Hbase:
60010：Hbase的master的WEB UI端口 （旧的） 新的是16010
60030：Hbase的regionServer的WEB UI 管理端口
Hive:
9083 : metastore服务默认监听端口
10000：Hive 的JDBC端口
Spark：
7077 ： spark 的master与worker进行通讯的端口 standalone集群提交Application的端口
8080 ： master的WEB UI端口 资源调度
8081 ： worker的WEB UI 端口 资源调度
4040 ： Driver的WEB UI 端口 任务调度
18080：Spark History Server的WEB UI 端口
Kafka：
9092： Kafka集群节点之间通信的RPC端口
Redis：
6379： Redis服务端口
CDH：
7180： Cloudera Manager WebUI端口
7182： Cloudera Manager Server 与 Agent 通讯端口
HUE：
8888： Hue WebUI 端口