HDFS工作机制概述

HDFS架构

在这里插入图片描述
HDFS集群分为两大角色(进程)：NameNode、DataNode

集群中主机分别放置在不同的机架中；
NameNode 负责管理整个文件系统的元数据；
DataNode 负责管理用户的文件数据块block；
文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上；
每一个文件块可以有多个副本，并存放在不同的datanode上；
Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量；
HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向namenode申请来进行；
集群中主机分别放置在不同的机架（rack）中。

HDFS读、写过程分析

写入过程

宏观逻辑过程图
在这里插入图片描述
宏观代码实现图：
图1：

在这里插入图片描述
图2：
hdfs写入过程文字描述：

Client 通过调用 FileSystem 的 create()方法来请求创建文件
FileSystem 通过对 NameNode 发出远程请求，在 NameNode 里面创建一个新的文件，但此时并不关联任何的块。 NameNode 进行很多检查来保证不存在要创建的文件已经存在于文件系统中，同时检查是否有相应的权限来创建文件。如果这些检查都完成了，那么NameNode 将记录下来这个新文件的信息。 FileSystem 返回一个 FSDataOutputStream 给客户端用来写入数据。和读的情形一样， FSDataOutputStream 将包装一个 FSDOutputStream 用于和 DataNode 及 NameNode 通信。而一旦文件创建失败，客户端会收到一个 IOExpection，标示文件创建失败，停止后续任务。
客户端开始写数据。 FSDataOutputStream 把要写入的数据分成包的形式，将其写入到中间队列中。其中的数据由 DataStreamer 来读取。 DataStreamer 的职责是让 NameNode分配新的块——通过找出合适的 DataNode——来存储作为备份而复制的数据。这些DataNode 组成一个流水线，我们假设这个流水线是个三级流水线，那么里面将含有三个节点。此时， DataStreamer 将数据首先写入到流水线中的第一个节点。此后由第一个节点将数据包传送并写入到第二个节点，然后第二个将数据包传送并写入到第三个节点。
FSDataOutputStream 维护了一个内部关于 packets 的队列，里面存放等待被DataNode 确认无误的 packets 的信息。这个队列称为等待队列。一个 packet 的信息被移出本队列当且仅当 packet 被流水线中的所有节点都确认无误
当完成数据写入之后客户端调用流的 close 方法，在通知 NameNode 完成写入之前，这个方法将 flush 残留的 packets，并等待确认信息（ acknowledgement）。 NameNode 已经知道文件由哪些块组成(通过 DataStream 询问数据块的分配)，所以它在返回成功前只需要等待数据块进行最小值复制。

读取过程分析

客户端将要读取的文件路径发送给namenode，namenode获取文件的元信息（主要是block的存放位置信息）返回给客户端，客户端根据返回的信息找到相应datanode逐个获取文件的block并在客户端本地进行数据追加合并从而获得整个文件（将多个block进行合并也在client端）

宏观逻辑过程图
在这里插入图片描述
宏观的代码实现图

文字描述：

客户端或者用户通过调用 FileSystem 对象的 open()方法打开需要读取的文件，这对 HDFS 来说是常见一个分布式文件系统的一个读取实例。
FileSystem 通过远程协议调用 NameNode 确定文件的前几个 Block 的位置。对于每一个 Block， NameNode 返回一含有那个 Block 拷贝的“元数据”，即文件基本信息；接下来，DataNode 按照上文定义的距离值进行排序，如果 Client 本身就是一个 DataNode，那么优先从本地 DataNode 节点读取数据。 HDFS 实例做完以上工作后，返回一个 FSDataInputStream给客户端，让其从 FSDataInputStream 中读取数据。 FSDataInputStream 接着包装一个DFSInputStream，用来管理 DataNode 和 NameNode 的 I/O。
NameNode 向客户端返回一个包含数据信息的地址，客户端根据地址创建一个FSDataInputStream 开始对数据进行读取。
FSDataInputStream 根据开始时存放的前几个 Blocks 的 DataNode 的地址，连接到最近的 DataNode 上对数据开始从头读取。客户端反复调用 read（）方法，以流式方式从DataNode 读取数据。
当读到 Block 的结尾的时候， FSDataInputStream 会关闭到当前 DataNode 的链接，然后查找能够读取下一个 Block 的最好的 DataNode。这些操作对客户端是透明的，客户端感觉到的是连续的流，也就说读取的时候就开始查找下一个块所在的地址。
1. 读取完成调用 close()方法，关闭 FSDataInputStream。
  以上就是 HDFS 对数据进行读取的整个流程。

文件访问权限

只读权限 -r ：最基本的文件权限设置，应用于所有可进入系统的用户，任意一个用户读取文件或列出目录内容时只需要只读权限。
写入权限 -w ：用户使用命令行或者 API 接口对文件或文件目录进行生成以及删除等操作的时候需要写入权限。
读写权限 -rw ：同时具备上述两种权限功能的一种更加高级的权限设置。
执行权限 -x ：一种特殊的文件设置， HDFS 目前没有可执行文件，因此一般不对此进行设置，但是可将此权限用于对某个目录的权限设置以对用户群加以区分。

Hadoop 静态和动态增加删除节点

静态添加，关闭hadoop集群，配置相应配置，重启集群
- 修改slave文件重启hadoop集群
  优点：改动少
  缺点：暴力需要停止服务
  应用环境：晚上或凌晨做不耽误使用
  检查：50070和8088 端口检查
动态添加，在不重启集群的情况下添加节点
- 设置新节点与NN和RM的SSH无密码登陆
- 在hosts添加主机名称，并且把该文件复制到集群中的其他节点上
- 修改主节点上的slaves文件（主要用于下次重启的时候使用）
  [ ] 在新节点中启动进程:可以单独起就不需要一起起服务了
  sbin/hadoop-daemon.sh start datanode
  sbin/yarn-daemon.sh start nodemanager
  优点：非暴力不需要停止服务
  缺点：改动多如果一次上很多会乱
  应用环境：随时不耽误使用
  检查：50070和8088 端口检查

数据存储位置与复制详解

在这里插入图片描述

同一节点上的存储数据
同一机架上不同节点上的存储数据
同一数据中心不同机架上的存储数据

不同数据中心的节点

   HDFS 数据存放策略就是采用同节点与同机架并行的存储方式。在运行客户端的当前节点上存放第一个副本，第二个副本存放在于第一个副本不同的机架上的节点，第三个副本放置的位置与第二个副本在同一个机架上而非同一个节点。