CDH主机下线


需求: 某服务器,由于规划不完善的原因,需要回收做为别的用途, 此时如何确保hdfs,hbaes 数据不丢失
参考: https://docs.cloudera.com/documentation/enterprise/5-12-x/topics/cm_mc_decomm_host.html

1,配置hdfs, hbase: 提高下线速度

  • 确保hdfs 主机下线后,副本数足够: 比如replica=1, 两个datanode中下线一个,还有一个dn可用,满足备份数要求
  • 确保hdfs 中的块是完整的: hdsf fsck / (没有找到损害的块 )
########## hdfs #############
#依据迭代设置复制工作乘数器
dfs.namenode.replication.work.multiplier.per.iteration=10 默认就行
#DataNode 上的最大复制线程数
dfs.namenode.replication.max-streams=20 --> 50
#Datanode 上复制线程数的硬限制
dfs.namenode.replication.max-streams-hard-limit=40 --> 100

########## hbase #############
Region Mover 线程: 1 --> 5 (小于等于5)

2,主机:进入维护模式

在这里插入图片描述

3, 主机解除授权: Decommission(退役)

在这里插入图片描述

解除授权的操作细节

在这里插入图片描述

a, hbase数据转移

在这里插入图片描述

b, hdfs 数据转移

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/eyeofeagle/article/details/110069458
CDH