Hadoop中namenode的安全模式

在启动namenode时,会首先进入安全模式(safemode)。在safemode中,HDFS是不被允许进行操作的,这段时间,HDFS会检查datanode上面的块是否被损坏,若块丢失或被损坏,会修复被损坏的块,但如果损坏的太多,则namenode会一直处在安全模式,从而导致HDFS不能操作。一般遇到这种问题,等待片刻便会自动退出安全模式,但凡事总有不一般的时候,当块损坏的太多而无法修复时,namenode会始终处于安全模式,这时也可以用命令强行退出安全模式。

namenode启动时,首先将映像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项编辑操作。一旦在内存中成功建立文件系统元数据的映像,则创建一个新的fsimage文件(该操作不需要借助secondary namenode)和一个空的编辑日志。在这个过程中,namenode运行中安全模式,意味着namenode的文件系统对于客户端来说是只读的。

严格来说,在安全模式下,只有那些访问文件系统元数据的文件系统操作是肯定成功执行的,例如显示目录列表等。对于读文件操作来说,只有集群中当前datanode上的块可用时,才能够工作。但文件修改操作(包括写、删除或重命名)均会失败。

需要强调的是,系统中数据块的位置并不是由namenode维护的,而是以块列表的形式存储在datanode中(每个datanode存储的块组成的列表)。在系统的正常操作期间,namenode会在内存中保留所有块位置的映射信息。在安全模式下,各个datanode会向namenode发送最新的快列表信息,namenode了解到足够多的块位置信息之后,即可高效运行文件系统。如果namenode认为向其发送更新信息的datanode节点过少,则它会启动快复制进程,以将数据块复制到新的datanode节点。然而,在大多数情况下上述操作都是不必要的(因为实际上namenode只需继续等待更多datanode发送更新信息即可),并浪费了集群的资源。实际上,在安全模式下namenode并不向datanode发送任何块复制或块删除的指令。

如果满足“最小副本条件”(minimal replication condition),namenode会在30秒钟之后就退出安全模式。所谓的最小副本条件指的是在整个文件系统中有99.9%的块满足最小副本级别(默认值是1,由dfs.namenode.replication.min属性设置)。

安全模式的属性:

属性名称 类型 默认值 说明
dfs.namenode.replication.min int 1 成功执行写操作所需要创建的最小副本数目(也称为最小副本级别)
dfs.namenode.safemode.threshold-pct float 0.999 在namenode退出安全模式之前,系统中满足最小副本级别(由dfs.namenode.replication.min定义)的块的比例。将这项值设为0或更小会令namenode无法启动安全模式;设为高于1则永远不会退出安全模式
dfs.namenode.safemode.extension int 30000 在满足最小副本条件(由dfs.namenode.safemode.threshold-pct定义)之后,namenode还需要处于安全模式的时间(以毫秒为单位)。对于小型集群(几十个节点)来说,这项值可以设为0

在启动一个刚刚格式化的HDFS集群时,因为系统中还没有任何块,所以namenode不会进入安全模式。

进入和离开安全模式

要想查看namenode是否处于安全模式,可以执行:

hdfs dfsadmin -safemode get

在这里插入图片描述
(我这里是用117和116两台服务器做了namenode的HA)

有时,用户期望在执行某条命令之前namenode先退出安全模式,特别是在脚本中。使用wait选项来实现:

扫描二维码关注公众号,回复: 10862454 查看本文章
hdfs dfsadmin -safemode wait

管理员随时可以让namenode进入或离开安全模式。这项功能在维护和升级集群时非常关键,因为需要确保数据在指定时段内是只读的。使用以下命令进入安全模式:

hdfs dfsadmin -safemode enter

前面提到过,namenode在启动阶段会处于安全模式。在此期间也可使用这条命令,从而确保namenode在启动完毕之后不离开安全模式。另一种使namenode永远处于安全模式的方法是将属性dfs.namenode.safemode.threshold-pct的值设为大于1。

运行以下指令可使namenode离开安全模式:

hdfs dfsadmin -safemode leave

完毕。

发布了116 篇原创文章 · 获赞 37 · 访问量 12万+

猜你喜欢

转载自blog.csdn.net/andyguan01_2/article/details/89711714