第三章 Hadoop 运行模式(2)
3.2.4 集群配置
-
集群部署规划
-
NameNode和SecondaryNameNode 不要安装在同一台服务器
-
ResourceManager也很消耗内存,不要和NameNode,SecondaryNameNode配置在同一台机器上
hadoop102 Hadoop103 hadoop104 HDFS NameNode
DataNodeDataNode SecondaryNameNode
DataNodeYARN NodeManager ResourceManager
NodeManagerNodeManager
-
配置文件说明
hadoop配置文件分为两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值的时候,才需要修改自定义配置文件,更改相应的属性值.
-
默认配置文件
-
要获取的默认文件 [core-default.xml] hadoop-common-3.1.3.jar/core-default.xml [hdfs-default.xml] hadoop-hdfs-3.1.3.jar/hdfs-default.xml [yarn-default.xml] hadoop-yarn-common-3.1.3.jar/yarn-default.xml [mapred-default.xml] hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml 自定义配置文件
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在**$HADOOP_HOME/etc/hadoop** 这个路径上,用户可以根据项目需求重新进行修改配置。
-
配置集群
cd $HADOOP_HOME/etc/hadoop
-
核心配置文件(core-site.xml)
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 指定 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:8020</value> </property> <!-- 指定 hadoop 数据的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-3.1.3/data</value> </property> <!-- 配置 HDFS 网页登录使用的静态用户为 admin --> <property> <name>hadoop.http.staticuser.user</name> <value>admin</value> </property> </configuration>
-
HDFS配置文件(hdfs-site.xml)
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- nn web 端访问地址--> <property> <name>dfs.namenode.http-address</name> <value>hadoop102:9870</value> </property> <!-- 2nn web 端访问地址--> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop104:9868</value> </property> </configuration>
-
YARN配置文件(yarn-site.xml)
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 指定 MR 走 shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定 ResourceManager 的地址--> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop103</value> </property> <!-- 环境变量的继承 --> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP RED_HOME</value> </property> </configuration>
-
MapReduce配置文件(mapred-site.xml)
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 指定 MapReduce 程序运行在 Yarn 上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
-
配置works
hadoop102 hadoop103 hadoop104
注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。
-
分发配置文件
xsync /opt/module/hadoop-3.1.3/etc/hadoop/
3.2.5 集群启动
-
如果是第一次集群启动,需要在hadoop102节点格式化NameNode
-
注意,格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到以往的数据.如果集群在运行过程中报错,需要重新格式化NameNode的话,一定要先停止NameNode和DataNode进程,并且要删除所有机器的data和logs目录,然后再进行格式化)
-
格式化命令
hdfs namenode -format
-
-
启动HDFS
sbin/start-dfs.sh
-
在配置了ResourceManager的节点hadoop103上启动YARN
sbin/start-yarn.sh
-
web端查看HDFS的NameNode
- 浏览器中输入:http://hadoop102:9870
- 查看HDFS上存储的数据信息
-
Web端查看Yarn的ResourceManager
- 浏览器中输入http://hadoop103:8088
- 查看Yarn上运行的job信息
-
测试集群是否正常
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
3.2.6 配置历史服务器
为了查看程序的历史运行情况,需要配置一下历史服务器,具体配置 步骤如下:
-
配置mapred-site.xml
<!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value> </property> <!-- 历史服务器 web 端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop102:19888</value> </property>
-
分发配置
xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
-
在hadoop102上启动历史服务器
mapred --daemon start historyserver
-
jps查看历史服务器是否正常启动
-
查看JobHistory
http://hadoop102:19888/jobhistory
3.2.7 配置日志的聚集
日志聚集概念:应用运行完成以后,将程序运行日志信息上传到 HDFS 系统上。
注意,开启日志聚集功能以后,需要重新启动NodeManager ResourceManager和HistoryServer
步骤:
-
配置yarn-site.xml
<!-- 开启日志聚集功能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 设置日志聚集服务器地址 --> <property> <name>yarn.log.server.url</name> <value>http://hadoop102:19888/jobhistory/logs</value> </property> <!-- 设置日志保留时间为 7 天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property>
-
分发配置
xsync $HADOOP_HOME/etc/hadoop/yarnsite.xml
-
关闭NodeManager, ResourceManager和HistoryServer
sbin/stop-yarn.sh
mapred --daemon stop historyserver
-
启动NodeManager,ResourceManager和HistoryServer
start-yarn.sh
mapred --daemon start historyserver
-
删除HDFS上已经存在的输入文件
hadoop fs -rm -r /output
-
执行wordcout程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
可能出现异常,解决方式
https://blog.csdn.net/hs_shengxiaguangnian/article/details/117375466
-
查看日志
-
历史服务器地址
http://hadoop102:19888/jobhistory
-
3.2.8 集群启动/停止方式总结
-
各个模块分开启动****/**停止(配置 ssh **是前提)**常用
-
整体启动/停止 HDFS
start-dfs.sh/stop-dfs.sh
-
整体启动/停止 YARN
start-yarn.sh/stop-yarn.sh
-
-
各个服务组件逐一启动****/**停止
-
分别启动/停止 HDFS 组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
-
启动/停止 YARN
yarn --daemon start/stop resourcemanager/nodemanager
-
3.2.9 Hadoop集群常用脚本
-
Hadoop 集群启停脚本(包含 HDFS**,Yarn,Historyserver):**myhadoop.sh
cd /home/admin/bin vim myhadoop.sh
#!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " =================== 启动 hadoop 集群 ===================" echo " --------------- 启动 hdfs ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh" echo " --------------- 启动 yarn ---------------" ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh" echo " --------------- 启动 historyserver ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver" ;; "stop") echo " =================== 关闭 hadoop 集群 ===================" echo " --------------- 关闭 historyserver ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver" echo " --------------- 关闭 yarn ---------------" ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh" echo " --------------- 关闭 hdfs ---------------" ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh" ;; *) echo "Input Args Error..." ;; esac
设置权限
chmod +x myhadoop.sh
-
查看三台服务器 Java **进程脚本:**jpsall
vim jpsall
#!/bin/bash for host in hadoop102 hadoop103 hadoop104 do echo =============== $host =============== ssh $host jps done
chmod +x jpsall
分发脚本
xsync /home/atguigu/bin/