【Ubuntu】Hadoop 伪分布式安装

文章目录

资源获取：https://download.csdn.net/download/qq_45797116/15869560

一、JDK的安装

解压至home目录:tar -zxvf jdk-8u281-linux-x64.tar.gz -C /home/
在这里插入图片描述

重命名:mv jdk1.8.0_161/ java
在这里插入图片描述

配置环境变量:vi /etc/profile

export JAVA_HOME=/home/java
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

在这里插入图片描述

使环境变量生效 source /etc/profile
测试是否安装成功:java -version
在这里插入图片描述
返回顶部

二、Hadoop 安装

将hadoop安装包解压至指定目录 tar -zxvf hadoop-2.7.6.tar.gz -C /home/
在这里插入图片描述
重命名:mv hadoop-2.7.6/ hadoop

配置环境变量

export HADOOP_HOME=/home/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

在这里插入图片描述
使环境变量生效 source /etc/profile
测试是否安装成功:hadoop version

返回顶部

三、Hadoop 配置

在hadoop根目录下创建几个文件夹

mkdir tmp            用来指定使用hadoop时产生文件的存放目录
mkdir -p hdfs/name   指定hdfs中namenode的存储位置
mkdir hdfs/data      指定hdfs中datanode的存储位置

在这里插入图片描述
然后进入/home/hadoop/ets/hadoop/目录下进行配置文件的修改：

hadoop运行需要jre环境，可以直接在/etc/profile中配置，也可以在hadoop-env.sh和yarn-env.sh文件中进行单独配置配置，在hadoop-env.sh和yarn-env.sh中可以对JVM虚拟机相关参数进行设置：

修改hadoop-env.sh
修改 yarn-env.sh

修改core-site.xml

<!--指定namenode的地址-->
<property>
   <name>fs.defaultFS</name>
   <value>hdfs://master:9000</value>  // master改成虚拟机系统的ip
</property>
<!--用来指定使用hadoop时产生文件的存放目录-->
<property>
   <name>hadoop.tmp.dir</name>
   <value>/home/hadoop/tmp</value>
</property>

在这里插入图片描述

修改hdfs-site.xml

<!--指定hdfs保存数据的副本数量-->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<!--指定hdfs中namenode的存储位置-->
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop/hdfs/name</value>
</property>
<!--指定hdfs中datanode的存储位置-->
<property>
    <name>dfs.datanode.name.dir</name>
    <value>/home/hadoop/hdfs/data</value>
</property>

在这里插入图片描述

修改mapred-site.xml

<!--告诉hadoop以后MR(Map/Reduce)运行在YARN上-->
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>

在这里插入图片描述

修改yarn-site.xml

<!--nomenodeManager获取数据的方式是shuffle-->
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<!--指定Yarn的老大(ResourceManager)的地址-->  
<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>master</value>
</property>

在这里插入图片描述
返回顶部

四、启动与测试

初始化 namenode:bin/hadoop namenode -format
开启节点:/home/hadoop/sbin/start-all.sh
查看进程:jps
在这里插入图片描述
http://192.168.64.100:8088/cluster

http://192.168.64.100:50070/

返回顶部