ubuntu环境下搭建Hadoop集群中必须需要注意的问题

博主安装的hadoop是3.1.3这里是按照厦门大学那个博客安装的,在安装与启动过程中,费了不少事,特此记录一下问题。

安装的连接:
安装环境:http://dblab.xmu.edu.cn/blog/install-hadoop/
分布式搭建:http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/

需要注意的是文中所讲的是hadoop2版本,其中集群搭建修改的五个配置文件中的 slaves文件,在hadoop3中已改名成 wordks 目录在/usr/local/hadoop/etc/hadoop

如果前面伪分布式搭建能够正常启动的话,在分布式搭建的过程中主要还是配置文件需要按照他博文中的写好,我就是在配置文件上有时候对应的不够好,这里主节点master的配置文件需要和slave从节点的配置文件一样,还有/etc/hosts文件用vim编辑记得在前面加上sudo
不然权限不够无法保存。

最后hadoop3的访问端口是 master:9870;hadoop2版本访问的端口是50070,怪不得访问超时,我还以为DataNode的问题,有时候DataNode无法启动,需要将所有节点的 tmp、logs文件夹强制删除,停止服务后需要重新格式化 ./bin/hdfs namenode -format .

中间的节点如果没有启动的话,需要去日志中查看错误,找到对应的错误在Goole,查看日志的命令

less less logs/hadoop-hadoop-namenode-master.log

tail -10 logs/hadoop-hadoop-namenode-master.log # 最后10行的日志信息
head -5 hadoop-hadoop-namenode-master.log # 查看前10行日志信息

在启动服务之前需要查看防火墙的状态(以下的命令是ubuntu的)

systemctl status firewalld.service

# 如果是开着的需要 关闭防火墙
systemctl stop firewalld.service

systemctl disable firewalld.service # 禁止firewall开机启动

最后搭建成功的截图
master节点
在这里插入图片描述
slave01
在这里插入图片描述
访问master:9870
在这里插入图片描述
访问master:8088
在这里插入图片描述
看间这头黄色的大象就代表搭建成功了。

猜你喜欢

转载自blog.csdn.net/qq_43672652/article/details/106855399