架构图
hdfs采用master/slave架构，主要由以下组件组成：client、namenode、secondarynode、datanode
1、client
client通过与namenode和datenode的访问hdfs中文件，client提供一些接口供用户调用
2、namenode
hadoop集群只有一个namenode，它负责管理hdfs目录树以及相关文件的元数据（matedata）信息。
matedata包括：fsimage（hdfs元数据镜像文件）和edits（文件改动日志）。fsimage保存了block块的存储信息，
fsimage和edits保存在本地磁盘：${hadoop.tmp.dir}/dfs/name/current/
注：hdfs上每个文件都要在namenode上建立索引，索引大小大约为150byte。所以大量小文件会产生很多索引，占用大量namenode内存，而且索引太多导致检索速度变慢
3、secondarynode
secondarynode不是namenode的热备份，它的主要任务是合并edits日志到fsimage文件，然后将fsimage传输给namenode。
4、datanode
负责实际数据存储（block），并每隔3s向namenode汇报信息。
一个大文件会被切分成若干个bolck，每个block默认64M，分别存储到不同的datanode。每个block默认会被复制成3份保存到不同的datanode。第二个block保存在不同机架的datanode，第三个block保存在与第二个block相同机架的不同datanode。