HDFS如何保证数据安全性

  1. HDFS是典型的Master/Slave架构,它往往是一个NameNode加多个DataNode组成,NamNode是集群的;且HDFS中分块存储的,为了容错文件,每个Block都会有副本
  2. 第一个副本一般放置在客户端所在的节点上(若客户端无DataNode,则随机放),第二个副本放置到与第一个副本同一机架的不同节点上,第三个副本放到不同机架的DataNode节点,当取用时遵循就近原则
  3. DataNode已Block为单位,每3s报告心跳状态,若10min内不报告心跳状态则NameNode认为Block已死掉,NameNode会把其上面的数据备份到其他一个DataNode节点上,保证数据的副本数量
  4. DataNode会默认每小时把自己节点上的所有块状态信息报告给NameNode
  5. 采用Safemode模式:DataNode会周期性的报告Block信息且HDFS元数据采用SecondaryNameNode备份或者HA备份

猜你喜欢

转载自blog.csdn.net/abc5254065/article/details/112983047