hadoop 运维笔记

一. 故障处理部分

1.1. spark提交任务报错java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSON  

报错原因： 在运行环境没有找到fastjson的依赖库
解决方法： 在SPARK_HOME/jars/ 添加fastjson-VERSION.jar包。 例如我的环境下SPARK_HOME是/usr/local/service/spark/。

[hadoop@10 ~]$ ls $SPARK_HOME/jars/fast*
/usr/local/service/spark/jars/fastjson-1.2.12.jar

1.2.  跨HDFS集群、HDFS属主用户不同，传输文件没有权限的问题

这个问题衍生出两件事，把这两件事处理完问题即可解决。

• 不同集群间解析
• 不同集群属主

先看一下不同集群间解析。要想跨集群传输文件，首先得确定集群相互"认识"，即集群间确定通过ip或者hostname可达。在ip可达的前提下，我们判断集群间是否"认识"，则需要检查hdfs-site.xml中dfs.namenode.datanode.registration.ip-hostname-check这项配置。它表示是否将ip反向解析成主机名，默认为true。如果未设置这一项，则需要对/etc/hosts添加主机解析，对于HDFS这种规模性集群来说，这很显然是比较繁琐的。

对于不同集群属主来说，可以通过修改被传文件权限或通过添加用户、附加组使用户获得文件的读取权限。

1.3 HDFS中hdfshosts直接使用ip遇到的问题

故障描述：

1. 在hdfs web页面显示dn全部dead
2. strace 追踪dn进程，发现连接nn超时
3. 查看dn日志报错如下：

18/11/27 22:53:00 ERROR datanode.DataNode: Initialization failed for Block pool BP-958982478-10.0.220.44-1543329751956 (Datanode Uuid null) service to /10.0.220.44:9100 Datanode denied communication with namenode because hostname cannot be resolved (ip=10.0.220.48, hostname=10.0.220.48): DatanodeRegistration(0.0.0.0:50010, datanodeUuid=1e26933b-35a3-4d3f-8c5f-3ab03f10ca62, infoPort=50075, infoSecurePort=0, ipcPort=50020, storageInfo=lv=-56;cid=CID-1f213b85-b28c-4824-a44c-813c95ce7ecc;nsid=1612667934;c=0)
        at org.apache.hadoop.hdfs.server.blockmanagement.DatanodeManager.registerDatanode(DatanodeManager.java:852)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.registerDatanode(FSNamesystem.java:4486)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.registerDatanode(NameNodeRpcServer.java:1286)
        at org.apache.hadoop.hdfs.protocolPB.DatanodeProtocolServerSideTranslatorPB.registerDatanode(DatanodeProtocolServerSideTranslatorPB.java:96)
        at org.apache.hadoop.hdfs.protocol.proto.DatanodeProtocolProtos$DatanodeProtocolService$2.callBlockingMethod(DatanodeProtocolProtos.java:28752)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:982)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2217)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2213)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:422)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1758)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2213)

问题分析：
首先想到的就是NN与DN通信出现了问题。但是如题所述"直接使用ip"，也就是说不在/etc/hosts做任何配置的前提下能正常工作。这时就需要考虑怎样在hdfs的配置里面能够使DN直接通过ip来访问NN，即禁用对DN的ip做反向域名解析。
解决方法:
在NameNode节点 的 hdfs-site.xml添加如下内容

<property>
      <name>dfs.namenode.datanode.registration.ip-hostname-check</name>
      <value>false</value>
</property>

1.4 ambari hive server2启动失败。

报错日志如下

Caused by: java.sql.SQLException: Access denied for user 'hive'@'xx.xx.xx.xx'(using password: YES)
        at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1078)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4187)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:4119)
        at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:927)
        at com.mysql.jdbc.MysqlIO.proceedHandshakeWithPluggableAuthentication(MysqlIO.java:1709)
        at com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1252)
        at com.mysql.jdbc.ConnectionImpl.coreConnect(ConnectionImpl.java:2488)
        at com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2521)
        at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2306)
        at com.mysql.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:839)
        at com.mysql.jdbc.JDBC4Connection.<init>(JDBC4Connection.java:49)
        at sun.reflect.GeneratedConstructorAccessor17.newInstance(Unknown Source)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
        at com.mysql.jdbc.Util.handleNewInstance(Util.java:411)
        at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:421)
        at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:350)
        at java.sql.DriverManager.getConnection(DriverManager.java:664)
        at java.sql.DriverManager.getConnection(DriverManager.java:208)
        at com.jolbox.bonecp.BoneCP.obtainRawInternalConnection(BoneCP.java:361)
        at com.jolbox.bonecp.BoneCP.<init>(BoneCP.java:416)
        ... 71 more

手动连接mysql依然连接不上，检查发现连接权限不够，重新授权后，启动成功。

二. hadoop集群平滑退役/上线节点(DataName/tasktracker or NodeManager)

在生产环境中可能会遇到退役(下线)服务器需求，对于计算节点来说强制下线节点影响的只是task作业，但是对于HDFS来说，就会出现数据丢失的风险。当然hadoop也提供了平滑下线的机制。

2.1 退役DataNode

2.1.1 在namenode节点hdfs-site.xml中增加配置,PATH路径根据自己实际情况进行修改

<property>
       <name>dfs.hosts.exclude</name>
       <value>/usr/local/service/hadoop/etc/hadoop/hdfsexcludedhosts</value>
</property>

2.1.2 在相关文件中添加需要退役的主机

[hadoop@10 ~]$ cat  /usr/local/service/hadoop/etc/hadoop/hdfsexcludedhosts
10.0.0.1
10.0.0.2

2.1.3 在NameNode 运行以下命令，将经过审核的DataNode更新至NameNode

[hadoop@10 ~]$ hdfs dfsadmin -refreshNodes

2.1.4 查看下线情况

hdfs dfsadmin -report 

Decomissioning标记的即为正在下线的DataNode，hadoop集群会将下线的DataNode数据块复制到其他节点。
复制完成之后会变成Decommission Status : Decommissioned。
2.1.5 下线完成后，清空/usr/local/service/hadoop/etc/hadoop/hdfsexcludedhosts 文件

[hadoop@10 ~]$ > /usr/local/service/hadoop/etc/hadoop/hdfsexcludedhosts

注意: 如果hadoop集群为HA，则需要在2个主控节点做相同操作

2.2 退役NodeManager 节点

2.2.1 在RM(ResourceManager)节点yarn-site.xml中增加配置,PATH路径根据自己实际情况进行修改

<property>
        <name>yarn.resourcemanager.nodes.exclude-path</name>
       <value>/usr/local/service/hadoop/etc/hadoop/yarnexcludedhosts</value>
</property>

2.2.2 在相关文件中添加需要退役的主机

[hadoop@10 ~]$ cat  /usr/local/service/hadoop/etc/hadoop/yarnexcludedhosts
10.0.0.1
10.0.0.2

2.2.3 在RM节点 运行以下命令，将经过审核的NodeManager更新至RM

[hadoop@10 ~]$ yarn rmadmin -refreshNodes

2.2.4 下线完成后，在nodes include文件中去掉下线的机器,并清空exclude 文件

#yarn-site.xml 中nodes include 配置路径，路径根据自己实际情况
<property>
        <name>yarn.resourcemanager.nodes.include-path</name>
        <value>/usr/local/service/hadoop/etc/hadoop/yarnhosts</value>
</property>

[hadoop@10 hadoop]$ > /usr/local/service/hadoop/etc/hadoop/yarnexcludedhosts

注意: 如果hadoop集群为HA，则需要在2个主控节点做相同操作

2.3 上线DataNode节点

2.3.1 修改dfs.hosts对应配置文件,添加需要上线的机器

[hadoop@10 ~]$ cat /usr/local/service/hadoop/etc/hadoop/hdfshosts
10.0.100.53
10.0.100.52

2.3.2 在NameNode节点运行以下命令，将经过审核的datanode更新至namenode

[hadoop@10 ~]$ hdfs dfsadmin -refreshNodes

2.3.3 检查是否上线成功

hdfs dfsadmin -report 

注意: 如果hadoop集群为HA，则需要在2个主控节点做相同操作

2.4 上线NodeManager节点

2.4.1 在nodes include文件中添加需要上线的机器

#yarn-site.xml 中nodes include 配置路径，路径根据自己实际情况
<property>
        <name>yarn.resourcemanager.nodes.include-path</name>
        <value>/usr/local/service/hadoop/etc/hadoop/yarnhosts</value>
</property>

[hadoop@10 ~]$ cat /usr/local/service/hadoop/etc/hadoop/yarnhosts 
10.0.100.53 
10.0.100.52

2.4.2 在RM节点 运行以下命令，将经过审核的NodeManager更新至RM

[hadoop@10 ~]$ yarn rmadmin -refreshNodes

注意: 如果hadoop集群为HA，则需要在2个主控节点做相同操作

---

致谢：Hadoop 委任和解除节点