Hadoop中50070无法访问、从节点无DataNode以及live nodes中只能显示一个从节点的问题

问题一、
如果配置了:

<property>
        <!-- <name>dfs.namenode.http.address</name>-->
        <name>dfs.namenode.http.address</name>
        <value>Master.Hadoop:50070</value>
</property>

在浏览器中访问http://ip(自己的主节点ip):50070无法访问,则试试将端口号换成9870
问题二、
如果在主节点中使用start-all.sh启动了hadoop集群,在主节点Master中输入jps显示:

[Hadoop@Master ~]$ jps
12870 ResourceManager
12439 DataNode
12313 NameNode
12649 SecondaryNameNode
13418 Jps
13003 NodeManager

在从节点Slave中输入jps只显示:

4363 Jps
4222 NodeManager

不出现DataNode,则此处提供一种解决方法,以一个主节点,两个从节点为例。
注意:此时先用stop-all.sh将集群关闭!!!
分别打开Master和Slave1,Slave2的:/home/Hadoop/HadoopFiles/Hadoop/hadoop-3.1.1/data/dfs文件夹,你会发下dfs文件夹下有name,data两个文件夹;在这两个文件夹中各自都有一个current文件夹,而且这两个文件夹中都有一个名为VERSION的文件,用 vi VERSION 命令打开你会惊奇的发下两个VERSION中都有一个clusterID,而且值都相同!!!没错这就是Master节点中看到的。
然后,用同样的方法分别进入Slave1,Slave2这两个从节点,发现他们的name,data下的current中的VERSION的clusterID,或者name和data互不同,或者name和data相同但和Master中的clusterID不同,OK!
接下来你要做的就是大一统!!!
把所有从节点的name和data下的clusterID都改得和主节点Master一模一样!!!
再一次启动Hadoop集群,在主节点中用输入jps命令得到:

[Hadoop@Master ~]$ jps
12870 ResourceManager
12439 DataNode
12313 NameNode
12649 SecondaryNameNode
13418 Jps
13003 NodeManager

从节点中输入jps命令得到:

4103 DataNode
4424 Jps
4222 NodeManager

那么你成功了,如果还没有解决,赶快去看其他博客吧!!!
问题三、
注意:同样是关闭集群后在做如下操作。
当你来的问题时说明你离成功已经很近了。
回到问题一中,当你输入http://ip(主节点的ip):9870
注意:Hadoop3.0以后就输入9870吧。
你会在打开的网页中发现一个悲惨的事实,在Summary的live nodes中发现活着的节点数和你自己搭建的节点数不符,准确的说存活的节点数小于自己搭建的节点数。点击live nodes进入后就可以看到有几个从节点没有显示;奇葩的是 当你点击刷新的时候,你发现从节点数在切换,一会儿是slave1,一会是slave2,此时做如下操作:
先进入到主节点Master的如下目录;找到hdfs-site.xml
/home/Hadoop/HadoopFiles/Hadoop/hadoop-3.1.1/etc/hadoop
使用 vi hdfs-site.xml打开找到:

<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/Hadoop/HadoopFiles/Hadoop/hadoop-3.1.1/data/dfs/Masterdata</value>
</property>

分别在两个从节点中建:
从节点Slave1中:

<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/Hadoop/HadoopFiles/Hadoop/hadoop-3.1.1/data/dfs/Masterdata/Slave1</value>
</property>

从节点Slave2中

<property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/Hadoop/HadoopFiles/Hadoop/hadoop-3.1.1/data/dfs/Masterdata/Slave2</value>
</property>

然后保存退出。重启集群,进入网页,发现问题解决。

发布了14 篇原创文章 · 获赞 0 · 访问量 637

猜你喜欢

转载自blog.csdn.net/goodgoodstudyddp/article/details/104535972