Hadoop运行环境搭建基于CentOS6

修改为静态IP

# vim /etc/sysconfig/network-scripts/ifcfg-eth0

需要修改的内容有5项：

IPADDR=192.168.1.101 （设置固定IP）

GATEWAY=192.168.1.2 （设置网关）

ONBOOT=yes （设置自动）

BOOTPROTO=static （设置静态）

DNS1=192.168.1.2 （设置DNS服务器）

# service network restart （重启服务）

修改主机名

修改linux的hosts文件

#vi /etc/sysconfig/network

NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME= hadoop001

注意：主机名称不要有“_”下划线

#vim /etc/hosts

添加如下内容

192.168.1.101 hadoop100

之后重启设备并重启设备，重启后，查看主机名，已经修改成功

关闭防火墙

查看防火墙开机启动状态

#chkconfig iptables --list

关闭防火墙

#chkconfig iptables off

在opt目录下创建文件

创建hadoop用户

在root用户里面执行如下操作

[root@lzl opt]# adduser hadoop
[root@lzl opt]# passwd 123456

设置atguigu用户具有root权限

修改 /etc/sudoers 文件，找到下面一行，在root下面添加一行

# vi /etc/sudoers

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL
hadoop   ALL=(ALL)     ALL

修改完毕，现在可以用atguigu帐号登录，然后用命令 su - ，即可获得root权限进行操作

在/opt目录下创建文件夹

（1）在root用户下创建module、software文件夹

[root@lzl opt]#mkdir module

[root@lzl opt]#mkdir software

（2）修改module、software文件夹的所有者

[root@lzl opt]#chown hadoop:hadoop module

[root@lzl opt]# chown hadoop: hadoop sofrware

安装jdk

1）卸载现有jdk

（1）查询是否安装java软件：

[root@lzl opt]# rpm -qa | grep java

（2）如果安装的版本低于1.7，卸载该jdk：

[root@lzl opt]# rpm -e 软件包

开始下载 java jdk并安装

安装过程不再描述，介绍一下环境变量配置

打开/etc/profile文件

# vi /etc/profile

在profie文件末尾添加jdk路径：

##JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

exportPATH=$PATH:$JAVA_HOME/bin

让修改后的文件生效执行# source /etc/profile

测试java是否安装成功

# java -version

安装Hadoop（下载地址）

1）进入到Hadoop安装包路径下：

[root@lzl ~]# cd /opt/software/

2）解压安装文件到/opt/module下面

[root@lzl software]# tar -zxfhadoop-2.7.2.tar.gz -C /opt/module/

3）查看是否解压成功

[root@lzl software]# ls /opt/module/

hadoop-2.7.2

4）在/opt/module/hadoop-2.7.2/etc/hadoop路径下配置hadoop-env.sh

（1）Linux系统中获取jdk的安装路径：

[root@lzl jdk1.8.0_144]# echo $JAVA_HOME

/opt/module/jdk1.8.0_144

（2）修改hadoop-env.sh文件中JAVA_HOME 路径：

root@lzl hadoop]# vi hadoop-env.sh

修改JAVA_HOME如下

exportJAVA_HOME=/opt/module/jdk1.8.0_144

5）将hadoop添加到环境变量

（1）获取hadoop安装路径：

[root@ lz hadoop-2.7.2]#pwd

/opt/module/hadoop-2.7.2

（2）打开/etc/profile文件：

[root@ lzl hadoop-2.7.2]# vi/etc/profile

在profie文件末尾添加jdk路径：（shitf+g）

##HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存后退出 :wq

（4）让修改后的文件生效：

[root@ lzl hadoop-2.7.2]#source /etc/profile

（5）重启(如果hadoop命令不能用再重启)：

[root@ lzl hadoop-2.7.2]#sync

[root@ lzl hadoop-2.7.2]# reboot

6）修改/opt目录下的所有文件所有者为hadoop

[root@lzl opt]# chown hadoop:hadoop -R /opt/

7）切换到atguigu用户

[root@lzl opt]# su hadoop

本地运行Hadoop 案例

官方grep案例

1）创建在hadoop-2.7.2文件下面创建一个input文件夹

[lzl@lzl hadoop-2.7.2]$mkdir input

2）将hadoop的xml配置文件复制到input

[lzl@lzl hadoop-2.7.2]$cpetc/hadoop/*.xml input

3）执行share目录下的mapreduce程序

[lzl@lzl hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jargrep input output 'dfs[a-z.]+'

4）查看输出结果

[lzl@lzl hadoop-2.7.2]$ cat output/*

官方wordcount案例

1）创建在hadoop-2.7.2文件下面创建一个wcinput文件夹

[lzl@lzl hadoop-2.7.2]$mkdir wcinput

2）在wcinput文件下创建一个wc.input文件

[lzl@lzl hadoop-2.7.2]$cd wcinput

[lzl@lzl wcinput]$touch wc.input

3）编辑wc.input文件

	[lzl@lzl wcinput]$vim wc.input
	在文件中输入如下内容
	hadoop yarn
	hadoop mapreduce 
	linzhiling
	linzhiling
	保存退出：：wq

4）回到hadoop目录/opt/module/hadoop-2.7.2

5）执行程序：

[lzl@lzl hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

6）查看结果：

[lzl@lzl hadoop-2.7.2]$catwcoutput/part-r-00000

linzhiling 2

hadoop 2

mapreduce 1

yarn 1