Hadoop主要解决问题
存 大量的存 HDFS
算 大量的算 MapReduce
优势:
高可靠性
高扩展性
高效性 MapReduce 使得并行执行运算
高容错性 自动失败的任务重新分配
Hadoop1.x 和 Hadoop2.x区别
实现计算与调度解耦 Yarn不但可以调度MapReduce 还可以调度其他资源
HDFS架构
NameNode(nn) 存储文件的元数据(文件名,文件目录结构,文件属性)
DataNode(dn) 存储数据本身
Secondary NameNode(2nn) nn的好助手/替身
Yarn架构 调度CPU和内存资源分配
ResourceManager(RM)(主管，负责从客户端接项目 然后安排人员 监控人员)
1处理客户端请求
2监控NodeManager
3启动并监控ApplicationMaster
4资源的分配和调度
NodeManager(NM)(项目组的程序员 负责具体干活的人)
1管理单个节点的资源
2执行ResourceManager的命令
3执行ApplicationMaster的命令
ApplicationMaster(跟进具体项目的临时负责人，项目结束打包离职)
1负责数据切分
2负责为应用程序申请资源
3任务的监控和容错
Container容器(物资)
是资源的抽象 封装了多维度资源(内存，cpu，磁盘，网络等) 由NodeManager使用
MapReduce架构
MapReduce将计算分为两阶段 Map 和 Reduce
大数据生态体系
大数据分析过程
最终用户画像 和 产品聚类
Zookeeper在整个过程中充当润滑剂
集群搭建：正常六台机器
NN一台 DN+NM共三台 2NN一台 RM一台
HDFS —Hadoop Distributed File System
适合一次写入 多次读出 且不支持文件修改
优点：
高容错性：多副本机制
适合处理大量数据
可构建在廉价机器上
缺点：
不适合低延迟数据访问
不适合存储大量小文件:因为NameNode空间是有限的。小文件寻址时间远超过读写时间
不支持并发写入，文件随便修改
HDFS架构
NameNode
DataNode
Client
将文件切分成一个个的block然后上传
Secondary NameNode
辅助分担NameNode
HDFS文件分块Block: 默认128M
寻址时间/读取时间 规范 1/100
设置的文件块太小-导致寻址时间过长
设置文件快太大-文件处理会很慢
HDFS上传过程
(1) 建立一个客户端Client,输入流读取本地文件，输出流上传文件
(2) 向NameNode发送申请上传，经过审核(上传路径是否正确，是否有权限)得到响应是否可上传
(3) 将本地文件逻辑切分，128M分一块
(4) 请求上传第一个Block块，返回n个节点数的DataNodeList(n为DataNode副本数量)，选出离客户端最近的DataNode作第一个，该DataNode再选出其他的DataNode。
(5) 按顺序发送DataNode请求建立通道，请求建立通道，请求建立通道
(6) 按顺序返回应答成功，应答成功，应答成功
(7) 按顺序传输packet，传输packet，传输packet
(8) 传完第一个块 再重新找DataNode重复(5)-(7)步骤
(9) NameNode更新元数据
传输packet过程中不是完全串行的，客户端发给DN1，DN1还没落入磁盘就继续发送packet给DN2，然后继续发给DN3. 从DN3开始逐个返回成功，最后返给客户端成功
如果中途请求建立通道或相应应答失败了，则文件传输失败
如果第一个DataNode的传输packet失败了，那么文件传输失败。
如果后边DataNode的传输packet失败了，前边的DataNode会再找新DataNode补齐
HDFS下载过程
也是一个块一个块的读
当一个DataNode能满足提供一个块 其他DataNode副本就不会再给了
NameNode
元数据内存持久化
Fsimage 类似于Redis的RDB 记录了某一刻内存的 负责将磁盘恢复到内存
edits.log 类似于Redis的AOF 记录的每一步的操作 负责NameNode内存持久化到磁盘
NameNode服务器启动 先加载Fsimage 再加载edit.loB
存入新数据 存入edits.log 再由2NN合并入Fsimage
2NN作为秘书 把edits.log整合到Fsimage
询问NameNode 是否需要CheckPoint,
触发条件:
(1) 定时时间到
(2) Edits的数据满了
整合步骤：
(1) NN同意整合CheckPoint，然后将edits和Fsimage发给2NN
(2) 2NN根据edits保存的指令，整理出新的Fsimage发回NN
(3) NN创建新的edits存指令,旧的edits不会删，旧的Fsimage会删
DataNode存储
存储块的数据 存储块的元数据(数据长度，校验和，时间戳)
(1) DN启动后向NameNode注册
(2) 注册成功后，以后每周期(一小时)上报所有块信息
(3) 每3秒一次心跳，心跳返回结果带有NameNode返给DataNode。NN超过十分钟没有接到心跳则认为DN挂了。
DataNode扩展集群
退役旧DataNode节点
添加白名单 用来保证集群安全性 白名单外一律不允许连接NameNode
黑名单退役 用来退役 放入黑名单安乐死 还有心跳但是没他事了
MapReduce 分布式运算程序的框架
优点：简单
简单，易编程
良好扩展性，加机器扩展运算能力
高容错性，一个机器挂了 放别的机器算，只要不是所有机器全挂了就不会失败
海量数据离线处理
缺点: 慢
不擅长实时计算
不擅长流式计算 MapReduce输入的数据是静态的 文件块 不支持动态流式计算
不擅长有向图计算 后一个输入是前一个输出的有向图计算，由于MapReduce的计算结果都要落入磁盘，导致有向图计算会产生大量IO效率特别低
Map阶段
将数据映射为想要的KEY-V形式 <word,1>
Reduce阶段
再将数据进行合并处理 <word,n>
MrAppMaster
MapTask
ReduceTask
代码三部分:
WcMapper
WcReducer
WcDriver
未完待更新 !
Hadoop常用命令:
全开启
start-all.sh等价于start-dfs.sh + start-yarn.sh
hadoop fs -ls / hadoop下查看所有目录
hadoop fs -mkdir /aaa hadoop下创建目录
查看指定目录内容
hdfs dfs –ls [文件目录]
打开某个已存在文件
hdfs dfs -cat [path]
本地文件存入hadoop
hdfs dfs -put [hadoop目录] [本地地址]
将hadoop文件down到本地已有目录
hadoop dfs -get [hadoop目录] [本地目录]
删除hadoop上指定文件
hdfs dfs -rm [文件地址]
hadoop上创建新目录
hdfs dfs -mkdir [目录名]