1、认识Hadoop
- Hadoop是Apache旗下的一套开源软件平台。
- Hadoop是用来分析和处理大数据的软件平台。
- Hadoop提供的功能：利用服务器集群，根据用户的自定义业务逻辑， 对海量数据进行分布式处理。
- Hadoop的核心组件：HDFS、MapReduce、Yarn
- 广义上来说，Hadoop通常指的是指一个更广泛的概念->Hadoop生态 圈。
- 云计算是分布式计算、并行计算、网格计算、多核计算、网络存储、虚 拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物。借助 IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS（软件即服务）等业 务模式，把强大的计算能力提供给终端用户。
- 现阶段，云计算的两大底层支撑技术为虚拟化和大数据技术。
- HADOOP则是云计算的PaaS层的解决方案之一，并不等同于PaaS，更 不等同于云计算本身。
- HADOOP应用于数据服务基础平台建设。
- HADOOP用于用户画像。
- HADOOP用于网站点击流日志数据挖掘。
2、Hadoop的生态圈
1、HDFS（hadoop分布式文件系统）
是hadoop中数据存储管理的基础。
是一个高度容错的系统，能检测和应对硬件故障。
是块级别的分布式文件存储系统。
NameCode(nn)元数据节点
存储文件的元数据，如文件名、文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在得到DataNode等。
管理HDFS的名称空间和数据块映射信息，配置副本策略，处理客户 端请求
DataNode(dn)数据节点
在本地文件系统存储文件块数据，以及块数据的校验和。
存储实际的数据，汇报存储信息给namenode
Secondary NameCode(2nn)
用来监控HDFS状态的辅助后天程序，每隔一段时间获取HDFS元数据的快照。
辅助namenode，分担其工作量：定期合并fsimage和fsedits，推送给namenode
2、mapreduce（分布式计算框架）
mapreduce是一种计算模型，用于处理大数据量的计算。
MR有两个阶段组成：Map和Reduce，用户只需实现map()和reduce()两个函数，即可实现分布式计算。
>>>MapReduce执行流程
jobtracker
master节点，只有一个，管理所有作业，任务/作业的监控，错误处理等，将任务分解成一系列任务，并分派给tasktracker。
tacktracker
slave节点，运行 map task和reducetask；并与jobtracker交互，汇报任务状态。
map task
解析每条数据记录，传递给用户编写的map（）并执行，将输出结果写入到本地磁盘（如果为map—only作业，则直接写入HDFS）。
reduce task
从map 它深刻地执行结果中，远程读取输入数据，对数据进行排序，将数据分组传递给用户编写的reduce函数执行。
>>>MapReduce原理
>>>MapReduce的执行步骤
1、Map任务处理
(1) 读取HDFS中的文件。每一行解析成一个<k,v>。每一个键值对调用一次map函数。<0,hello you> <1,hello me>
(2)覆盖map()，接收(1)产生的<k,v>，进行处理，转换为新的<k,v>输出。 <hello,1> <you,1> <hello,1> <me,1>
(3)对(2)输出的<k,v>进行分区。默认分为一个区。
(4)对不同分区中的数据进行排序（按照k）、分组。分组指的是相同key的value放到一个集合中。 排序后：<hello,1> <hello,1> <me,1> <you,1> 分组后：<hello,{1,1}><me,{1}><you,{1}>
(5)（可选）对分组后的数据进行归约。
2、Reduce任务处理
（1）多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点上。
（2）对多个map的输出进行合并、排序。覆盖reduce函数，接收的是分组后的数据，实现自己的业务逻辑，<hello,2> <me,1> <you,1> 处理后，产生新的<k,v>输出。
（3）对reduce输出的<k,v>写到HDFS中。
3、Yarn：分布式资源管理器
Yarn具有足够的通用性，可以支持其他的分布式计算模式。
Yarn还能很方便的管理诸如Hive、Hbase、Pig、Spark/Shark等应用。
Yarn可以使各种应用互不干扰的运行在同一个Hadoop系统中，实现整个集群资源的共享。
参考：
https://blog.csdn.net/zcb_data/article/details/80402411
https://www.cnblogs.com/ahu-lichang/p/6645074.html
