本文链接： https://blog.csdn.net/yuan156941828/article/details/102636480

环境资源

操作系统版本

]$ cat /etc/centos-release
CentOS Linux release 7.5.1804 (Core)

安装MapReduce和Yarn

IP规划

角色	主机名	IP地址
NameNode(nn),SecondaryNameNode,ResouceManager(RM)	nn	192.168.1.60
DataNode(DN)1,NodeManager(NM)1	node1	192.168.1.61
DataNode(DN)2,NodeManager(NM)2	node2	192.168.1.62
DataNode(DN)3,NodeManager(NM)3	node3	192.168.1.63

如果对相关设置不明白请参考
https://mp.csdn.net/postedit/102629533
https://mp.csdn.net/postedit/102634658

MapRedce部署(nn主机上操作)

修改分布式计算框架的配置文件mapred-site.xml

指定资源管理类

[root@nn01 ~]#  cd /usr/local/hadoop
[root@nn01 ~]#  mv etc/hadoop/mapred-site.xml.template  etc/hadoop/mapred-site.xml
#默认是模板文件,需要修改名称
[root@nn01 ~]#  vim etc/hadoop/mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>  #资源管理类参数
    <value>yarn</value>     #设置为yarn集群模式,local则为单机模式
  </property>
</configuration>

Yarn部署(nn主机上操作)

修改资源管理类配置文件yarn-site.xml

指定RM主机地址
指定计算框架

[root@nn01 ~]#  cd /usr/local/hadoop
[root@nn01 ~]#  vim etc/hadoop/yarn-site.xml
<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name> #指定RM主机地址参数
        <value>nn</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name> #指定计算框架的参数
        <value>mapreduce_shuffle</value>      
         #计算框架名,生产环境中具体的计算框架名需要询问开发人员,看开发使用的是什么计算框架
    </property>
</configuration>

参数名称可以从:
http://hadoop.apache.org/docs/r2.7.7/hadoop-yarn/hadoop-yarn-common/yarn-default.xml中寻找

同步文件给节点主机

[root@nn01 ~]#  for i in nn node{1..3};do rsync -aXSH /usr/local/hadoop/etc/hadoop $i:/usr/local/etc/  &  
> done

启动yarn服务

[root@nn01 ~]#  cd /usr/local/hadoop
[root@nn01 ~]#  ./sbin/start-yarn.sh

验证服务

[root@nn01 ~]#  cd /usr/local/hadoop
[root@nn01 ~]#  jps   #查看角色信息
4112 Jps
32258 SecondaryNameNode
32412 ResourceManager
32062 NameNode
[root@nn01 hadoop]# ./bin/yarn node -list             #查看NM节点
19/10/19 11:41:15 INFO client.RMProxy: Connecting to ResourceManager at nn01/192.168.1.60:8032
Total Nodes:3
         Node-Id	     Node-State	Node-Http-Address	Number-of-Running-Containers
     node2:35806	        RUNNING	       node2:8042	                           0
     node1:37231	        RUNNING	       node1:8042	                           0
     node3:46031	        RUNNING	       node3:8042	                           0

如果未出现,查看配置文件mapred-site.xml和yarn-site.xml是否配置正确

web访问Hadoop

NameNode节点web网页: http://192.168.1.60:50070
SecondaryNameNode节点web页面: http://192.168.1.60:50090
DataNode节点web页面: http://192.168.1.61:50075
http://192.168.1.62:50075
http://192.168.1.63:50075

Hadoop核心组件的MapReduce和Yarn的安装与配置(三)