Hadoop学习笔记之--Hadoop的安装

由于没有集群环境，只能在一台电脑上进行Hadoop的搭建，因此只能以伪分布式的方式进行搭建。

准备工作

操作系统：CentOS 7
JDK版本：1.8.0_131
Hadoop版本：2.8.0

操作系统安装

系统最好为Linux，推荐CentOS，关于系统安装，这里不赘述。

JAVA环境配置

1.下载jdk

$ wget http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

2.解压jdk-8u131-linux-x64.tar.gz：

$ tar -zvxf jdk-8u131-linux-x64.tar.gz

3.将解压的文件放到/usr/local下：

$ sudo mv jdk1.8.0_131 /usr/local/

4.打开/etc/bashrc

$ sudo vim /etc/bashrc

5.加入如下内容

export JAVA_HOME=/usr/local/jdk1.8.0_131
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

6.使更改生效

$ source /ect/bashrc

7.测试配置是否成功

    $ java

8.当出现如下图片内容，则表明配置成功。

扫描二维码关注公众号，回复： 3295210 查看本文章

这里写图片描述

系统环境配置

1.安装SSH服务(一般CentOS都带有此服务，如果是，请直接跳过)

$ sudo yum install openssh-server openssh-clients

2.配置SSH免密码登陆

$ ssh-keygen  # 期间需连续回车多次
$ ssh-copy-id user@host # 期间需要输入密码

关于详细的SSH免密码登陆配置，详情请戳：ssh免密码登录

Hadoop安装

1.下载Hadoop包

$ wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz

2.解压 hadoop-2.8.0.tar.gz

$ tar -zvxf hadoop-2.8.0.tar.gz

3.将 hadoop-2.8.0 移至 /usr/local/ 路径下

$ sudo mv hadoop-2.8.0 /usr/local/

4.修改相关配置文件
打开/usr/local/hadoop-2.8.0/etc/hadoop/mapred-site.xml

加入如下内容：

<configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
</configuration>

打开/usr/local/hadoop-2.8.0/etc/hadoop/yarn-site.xml

加入如下内容

<configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
            </property>
</configuration>

5.启动各项服务:

/usr/lcaol/hadoop-2.8.0/sbin/start-dfs.sh       # 启动HDFS
/usr/local/hadoop-2.8.0/sbin/start-yarn.sh      # 启动YARN
/usr/local/hadoop-2.8.0/sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器，才能在Web中查看任务运行情况

执行jps

$ jps

出现如下:

这里写图片描述

通过浏览器打开如下URL：http://localhost:8088/cluster

可通过浏览器查看任务情况：

这里写图片描述

至此，Hadoop基本安装成功了。