Hadoop之环境配置

面对学校课程要求学生搭建自己的伪分布式模式,所面临的各种坑,亲自踩坑。

1. 安装环境ubuntu
2.安装jdk
3.安装Hadoop

1.在安装ubuntu时需要注意安装ubuntu创建用户,等待时间比较长,大家需要有点耐心。
2.安装jdk时需要注意jdk的版本号,最好去官网下载18的版本带有linux的标识,配置环境时:注意:export后加上的是你电脑上jdk的实际路径,不要完全按照你的教课书,因为不完全与你的电脑一致,不要照抄啊!!!
这样的话java -version的版本号就会显示成功
3.安装Hadoop,首先解压Hadoop的软件包,在官网去下载。
同理这里也需要更改Hadoop的路径,export后的Hadoop的实际环境
/home/sdm/hadoop-2.7.3。类似于这样的路径。
可以用whereis hadoop查看。

ls指令需要充分利用查看jdk和Hadoop的实时名称,要不然会找不到文件的。

按照课本的内容,来到_core-site.xml***
Hadoop的地址也需要更改
/home/sdm/hadoop-2.7.3_*(我的是这样)

五个文件在{HADOOP_HOME}/etc/hadoop目录下。
需要知道实时路径(JAVA_HOME)

最后,1.格式化HDFS
2.start-all.sh
3.jps(至少显示五个进程)。

打开50070端口界面
打开8088端口界面

或许大家第一次可以了,但是第二天会发现自己傻了,再次打开会打不开DataNode和namenode节点。

IP会更改
这里要注意,xshell软件会连接不上,那很大可能就是ubuntu的ip发生改变了
ifconfig可以查看。

**8088端口怎样都打不开,日志报错警告日志警告“Failed to add storage directory”**解决方法:
链接:添加链接描述

最后我们把虚拟机重启就全部OK了。。。。。。。。。。(无语四,太麻烦了,没办法啊,那也得完成作业,是不是啊大家)
格式化hdfs
start-all.sh
两个界面都可打开了。

原创不易,希望大家可以给咱个赞!!!

猜你喜欢

转载自blog.csdn.net/m0_54850467/article/details/126665490