大数据centos7+hadoop2.7.1伪分布式集群虚拟机镜像

在这里插入图片描述

大数据学习hadoop环境安装过程布坑无数, 首先个人电脑配置不行,就挂一半了,虚拟机卡到不行;再者安装环境和hadoop、jdk版本切合十分紧密。安装过程比较耗时,网上千篇一律的安装教程,看似很有诚意,其实安装下来多多少少还是各种问题,搞不好一天都在安装这环境!

现在下载我的镜像,把ip地址改改,直接用,要加salve直接再克隆加个同局域网IP地址,master能无密码ssh即可,还请各位点赞加个关注!!!

直接挂载镜像开机即可,本地虚拟网卡ip地址改为192.168.6.1/24
网关改为192.168.6.2

链接:https://pan.baidu.com/s/1ZVcFPYmWZuFBlS4VMmmNEA
提取码:253z
在这里插入图片描述

启动Hadoop集群

格式化文件系统

格式化命令如下,该操作需要在HadoopMaster节点上执行:

[lyu@master ~]$ hdfs namenode -format
在这里插入图片描述
启动Hadoop

使用start-all.sh启动Hadoop集群,首先进入Hadoop安装主目录,然后执行启动命令:

[lyu@master ~]$ cd ~/hadoop-2.7.1

[lyu@master hadoop-2.7.1]$ sbin/start-all.sh

执行命令后,提示出入yes/no时,输入yes。
在这里插入图片描述
查看进程是否启动

在HadoopMaster的终端执行jps命令,在打印结果中会看到4个进程,分别是ResourceManager、Jps、NameNode和SecondaryNameNode,如下图所示。如果出现了这4个进程表示主节点进程启动成功。

[lyu@master hadoop-2.7.1]$ jps
65877 SecondaryNameNode
69698 Jps
66042 ResourceManager
65669 NameNode
[lyu@master hadoop-2.7.1]$

在这里插入图片描述
再看看从节点
[lyu@slave ~]$ jps
73052 DataNode
77455 Jps
73176 NodeManager
[lyu@slave ~]$

在这里插入图片描述
在HadoopSlave的终端执行jps命令,在打印结果中会看到3个进程,分别是NodeManager、DataNode和Jps,如下图所示。如果出现了这3个进程表示从节点进程启动成功。

Web UI查看集群是否成功启动

在HadoopMaster上启动Firefox浏览器,在浏览器地址栏中输入输入http://master:50070/,检查 namenode 和 datanode 是否正常。UI页面如下图所示。在这里插入图片描述

在HadoopMaster上启动Firefox浏览器,在浏览器地址栏中输入输入http://master:18088/,检查 Yarn是否正常,页面如下图所示。
在这里插入图片描述

运行PI实例检查集群是否成功

进入Hadoop安装主目录,执行下面的命令:

[lyu@master~]$ hadoop jar ~/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar pi 10 10
在这里插入图片描述
在这里插入图片描述
Job Finished in 27.266 seconds
Estimated value of Pi is 3.20000000000000000000
[lyu@master hadoop-2.7.1]$

~~

成功!!

~~

猜你喜欢

转载自blog.csdn.net/weixin_43258908/article/details/88937940