BigData<7>_HDFS深入

1. 副本摆放机制

机架感知策略:
由于处于不同的机架的两个节点在通信的时候需要通过交换机,而同一机架上的节点之间的通信网络带宽更高,效率更高,读写成本更低。
通常情况下,HDFS默认的副本系数为3:
副本1:本rack的一个节点上
副本2:另外一个rack的节点上
副本3:与2相同的rack的另外一个节点上
or
副本1:本rack的一个节点上
副本2:本rack的另外一个节点上
副本3:另外一个rack的节点上

2. 客户端写数据到HDFS的流程

3. 客户端读数据流程

4. HDFS Checkpoint

HDFS的元数据管理
元数据:就是HDFS的目录结构以及每个文件的Block信息(BlockID,副本系数,block存放在哪些DataNode上)
元数据存放在什么地方?对应的配置${hadoop.tmp.dir}/name/.....
元数据存放在文件中

/test1
/test1/a.txt
/test2
/test2/1.txt
/test2/2.txt
/test2/xxx

猜你喜欢

转载自www.cnblogs.com/isguoqiang/p/11484149.html