HDFS的工作机制

一、Hdfs的工作机制

1.hdfs读数据流程

(1)步骤图

这里写图片描述

(2)详细步骤解析

a.客户端将要读取的文件路径发送给namenode;
b.namenode获取文件的元信息(主要是block的存放位置信息)返回给客户端;
c.客户端根据返回的信息找到对应的datanode发送请求连接,读取文件的请求;
d.datanode将数据传输给客户端;
e.客户端逐个获取文件的block,并在本地进行数据追加合并从而获得整个文件;

2.hdfs写数据流程

(1)步骤图

这里写图片描述

(2)详细步骤解析

a.客户端请求上传文件;
b.namenode检查目标文件是否存在,存在不可以上传父目录是否存在,存在即可上传;
c.namenode返回是否可以上传文件
d.客户端请求第一个block该传输到那些datanode服务器上01,02,03;
e.namenode查询datanode信息;返回可用的datanode服务器
f.客户端向某台datanode服务器01发送数据建立pipeline的请求,01收到请求会继续调用02,02继续调用03,将整个pipeline的请求建立,逐级返回客户端;
g.客户端向01服务器上传第一个block,以packet为单位,01收到一个packet会传给02,02传给03;
h.客户端发送第二个block,循环执行g步骤,知道文件上传完毕。

猜你喜欢

转载自blog.csdn.net/amin_hui/article/details/81877360