学习Hadoop——HDFS 文件系统简介

HDFS (Hadoop分布式文件系统)采用master/slave 架构。一个HDFS集群由一个Namenode和一定数目的Datanodes 组成。

Namenode 是一个中心服务器,负责管理文件系统的名称(namespace) 以及客户端对文件的访问。集群的Datanode 一般是

一个节点一个,负责管理它所在的节点上的存储。

HDFS 提供文件系统的名称空间,用户可以以文件的形式在其上存储数据。从内部来看,一个HDFS 文件其实被分为一个或者

多个数据块,这些存储在一组的Datanode 上。Namenode 执行文件系统的名称空间操作,比如打开,关闭,重命名或者目录,

也负责确定数据块到具体的Datanode 节点映射。Datanode 负责处理文件系统的客户端读写请求。

在Namenode 的统一调度下进行数据块的创建,删除和复制等操作。

block:HDFS 中最小的数据存储单元,最小默认64MB

split:Mapreduce 中最小的计算单元,默认与Block 一一对应

猜你喜欢

转载自blog.csdn.net/y805805/article/details/85869882