hadoop简介
Hadoop 是一个由 Apache 基金会所开发的开源分布式系统基础架构。用户可以在不了解
分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。解
决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的
可靠存储和处理。适合处理非结构化数据，包括 HDFS，MapReduce等基本组件。
hadoop版本
第一代 Hadoop 包含三个大版本 ， 分别是 0.20.x ，0.21.x 和 和 0.22.x，其中，0.20.x 最后演
化成 1.0.x，变成了稳定版。
第二代 Hadoop 包含两个版本，分别是 0.23.x 和 和 2.x，它们完全不同于 Hadoop 1.0，是
一套全新的架构，均包含 HDFS Federation 和 YARN 两个系统，相比于 0.23.x，2.x 增加了
NameNode HA 和 Wire-compatibility 两个重大特性。
hadoop生态圈
对于一些人来说，Hadoop 是一个数据管理系统。他们认为 Hadoop 是数据分析的核心，
汇集了结构化和非结构化的数据，这些数据分布在传统的企业数据栈的每一层。
对于其他人，Hadoop 是一个大规模并行处理框架，拥有超级计算能力，定位于推动企业级应用的执行。
还有一些人认为 Hadoop 作为一个开源社区，主要为解决大数据的问题提供工具和软件。因
为 Hadoop 可以用来解决很多问题，所以很多人认为 Hadoop 是一个基本框架。
虽然 Hadoop 提供了这么多的功能，但是仍然应该把它归类为多个组件组成的 Hadoop
生态圈，这些组件包括数据存储、数据集成、数据处理和其它进行数据分析的专门工具。
1) HDFS：Hadoop 生态圈的基本组成部分是 Hadoop 分布式文件系统（HDFS）。HDFS 是一
种数据分布式保存机制，数据被保存在计算机集群上。数据写入一次，读取多次。HDFS
为 HBase 等工具提供了基础。
2) MapReduce：Hadoop 的主要执行框架是 MapReduce，它是一个分布式、并行处理的编
程模型。MapReduce 把任务分为 map(映射)阶段和 reduce(化简)。开发人员使用存储在
HDFS 中数据（可实现快速存储），编写 Hadoop 的 MapReduce 任务。由于 MapReduce
工作原理的特性， Hadoop 能以并行的方式访问数据，从而实现快速访问数据。
3) Hbase：HBase 是一个建立在 HDFS 之上，面向列的 NoSQL 数据库，用于快速读/写大量
数据。HBase 使用 Zookeeper 进行管理，确保所有组件都正常运行。
4) ZooKeeper：用于 Hadoop 的分布式协调服务。Hadoop 的许多组件依赖于 Zookeeper，
它运行在计算机集群上面，用于管理 Hadoop 操作。
5) Hive：Hive 类似于 SQL 高级语言，用于运行存储在 Hadoop 上的查询语句，Hive 让不熟
悉 MapReduce 开发人员也能编写数据查询语句，然后这些语句被翻译为 Hadoop 上面
的 MapReduce 任务。像 Pig 一样，Hive 作为一个抽象层工具，吸引了很多熟悉 SQL 而
不是 Java 编程的数据分析师。
6) Pig：它是 MapReduce 编程的复杂性的抽象。Pig 平台包括运行环境和用于分析 Hadoop
数据集的脚本语言(Pig Latin)。其编译器将 Pig Latin 翻译成 MapReduce 程序序列。
7) Sqoop：是一个连接工具，用于在关系数据库、数据仓库和 Hadoop 之间转移数据。Sqoop
利用数据库技术描述架构，进行数据的导入/导出；利用 MapReduce 实现并行化运行和
容错技术。
8）Flume提供了分布式、可靠、高效的服务，用于收集、汇总大数据，并将单台计算机的大量数据转移到HDFS。它基于一个简单而灵活的架构，并提供了数据流的流。它利用简单的可扩展的数据模型，将企业中多台计算机上的数据转移到Hadoop。
9）Whirr——Whirr是一组用来运行云服务的Java类库，使用户能够轻松地将Hadoop集群运行于Amazon EC2、Rackspace等虚拟云计算平台。
10）Mahout——Mahout是一个机器学习和数据挖掘库，它提供的MapReduce包含很多实现，包括聚类算法、回归测试、统计建模。通过使用 Apache Hadoop 库，可以将Mahout有效地扩展到云中。
11）BigTop —— BigTop作为Hadoop子项目和相关组件，是一个用于打包和互用性测试的程序和框架。
12）Ambari——Ambar为配置、管理和监控Hadoop集群提供支持，简化了Hadoop的管理。
