数据以block块的形式进行统一存储管理；
每个block块默认最多可以存储128M的文件；如果一个文件只有1KB，也会占用1个block块；（实际上只占用了1KB的磁盘空间）。
每个block块的元数据大小大概为150字节（byte）；
hdfs的架构
- hdfs集群包括NameNode，DataNode以及secondaryNameNode；
- NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息；
- DataNode负责管理用户的文件数据块，每一个数据块都可以在DataNode上存储多个副本；
- secondaryNameNode用来监控hdfs状态的辅助后台程序，每隔一段时间获取hdfs元数据信息的快照。最主要的作用是辅助NameNode管理元数据信息。
NameNode与DataNode的总结概述：
| NameNode |
DataNode |
| 存储元数据 |
存储文件内容 |
| 元数据保存在内存中 |
文件存储在磁盘 |
| 保存文件、block、DataNode之间的映射关系 |
维护了block id到DataNode本地文件的映射关系 |
block块和副本机制
HDFS分布式文件系统也是一个主从架构，主节点是我们的namenode，负责管理整个集群以及维护集群的元数据信息
从节点datanode，主要负责文件数据存储。
hdfs将所有的文件全部抽象成为block块来进行存储，不管文件大小，全部一视同仁都是以block块的统一大小和形式进行存储，方便我们的分布式文件系统对文件的管理；
所有的文件都是以block块的方式存放在HDFS文件系统当中，hadoop2当中，文件的block块大小默认是128M，block块的大小可以通过hdfs-site.xml当中的配置文件进行指定
<property>
<name>dfs.block.size</name>
<value>块大小 以字节为单位</value>//只写数值就可以
</property>
1、抽象成数据块的好处
- 一个文件有可能大于集群中任意一个磁盘
10T*3/128 = xxx块 2T，2T，2T 文件方式存—–>多个block块，这些block块属于一个文件 - 使用块抽象而不是文件可以简化存储子系统
- 块非常适合用于数据备份进而提供数据容错能力和可用性
2、块缓存
通常DataNode从磁盘中读取块，但对于访问频繁的文件，其对应的块可能被显示的缓存在DataNode的内存中，以堆外块缓存的形式存在。默认情况下，一个块仅缓存在一个DataNode的内存中，当然可以针对每个文件配置DataNode的数量。作业调度器通过在缓存块的DataNode上运行任务，可以利用块缓存的优势提高读操作的性能。
例如：
连接（join）操作中使用的一个小的查询表就是块缓存的一个很好的候选。
用户或应用通过在缓存池中增加一个cache directive来告诉namenode需要缓存哪些文件及存多久。缓存池（cache pool）是一个拥有管理缓存权限和资源使用的管理性分组。
例如一个文件 130M，会被切分成2个block块，保存在两个block块里面，实际占用磁盘130M空间，而不是占用256M的磁盘空间
3、hdfs的文件权限验证
hdfs的文件权限机制与linux系统的文件权限机制类似
r:read w:write x:execute 权限x对于文件表示忽略，对于文件夹表示是否有权限访问其内容
如果linux系统用户zhangsan使用hadoop命令创建一个文件，那么这个文件在HDFS当中的owner就是zhangsan
HDFS文件权限的目的，防止好人做错事，而不是阻止坏人做坏事。HDFS相信你告诉我你是谁，你就是谁
4、hdfs的副本因子
为了保证block块的安全性，也就是数据的安全性，在hadoop2当中，文件默认保存三个副本，我们可以更改副本数以提高数据的安全性
在hdfs-site.xml当中修改以下配置属性，即可更改文件的副本数
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
