Hadoop 机架及副本策略

1)机架 

    1. rack机柜,每个机柜分别有各自的 IP 段

        Q:企业里为什么要机架?

        A:ip网段1挂了(一般整个机架全挂),网段2还能提供服务


    2. 管理的机器有机架,为什么可以不使用?

        因为使用的是刀片服务器,比如网段为:192.168.138.xxx,可以跟256个机器    

        假如五台刀片服务器192.168.138.1,192.168.138.2,192.168.138.3,192.168.138.4,192.168.138.5


2)副本放置策略

    Q:130M文件 ,实际存储多少?多少个block块

    A:以副本数=3为例,实际存储 = 130*3,block = 6

    

    1. datanode:是数据存放的节点,管数据的

    2. namenode:管理文件的目录关系,分配持久化存储。

    3. 持久化:一个文件有多少个block,这个块分配在哪个机器,哪个节点上面(即:datanode)。这个映射关系是集群启动的过程中以及运行的过程中, datanode进行了block的report(即:块报告) 

    

3)实际生产架构

  当成一个笼统的虚拟的机架,刀片服务器随意一台挂了,都不会影响其他机器



【来自@若泽大数据】

猜你喜欢

转载自blog.csdn.net/qq_30130043/article/details/80433708