CentOS安装Hadoop2.7.2详细过程

1、安装情况说明

JDK版本：1.8

Hadoop版本：2.7.2

CentOS版本：7.1

主机如下：

171.21.35.5 name1.c4a1 该主机准备作为Namenode
171.21.35.6 data1.c4a2
171.21.35.7 data2.c4a3
171.21.35.8 data3.c4a4

2、配置HOST

vi /etc/hosts

171.21.35.5 name1.c4a1
171.21.35.6 data1.c4a2
171.21.35.7 data2.c4a3
171.21.35.8 data3.c4a4

3、安装JDK

java -version

通过上述命令查看下系统的JDK版本，如果是OpenJDK或者JDK版本少于1.6，则需要重新安装JDK

JDK的安装可以参看：Centos安装JDK1.8

4、SSH免密登录

由于本次选取了171.21.35.5为Namenode，所以需要设置该机器到其他3台机器的SSH免密登录

SSH免密登录可以参看：Centos设置SSH免密登录

5、下载并解压

到apache hadoop网站上下载hadoop2.7.2的安装包，并解压

6、HDFS文件夹创建

创建HDFS文件系统路径

/app/hadoop2.7.2/hdfs/data
/app/hadoop2.7.2/hdfs/name
/app/hadoop2.7.2/hdfs/temp

7、修改hadoop-env.sh

文件路径：/hadoop2.7.2/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/default

修改JAVA_HOME到实际JAVA安装路径，此处最好不要用环境变量，保证JDK版本的一致性

8、修改yarn-env.sh

文件路径：/hadoop2.7.2/etc/hadoop/yarn-env.sh

export JAVA_HOME=/usr/java/default

修改JAVA_HOME到实际JAVA安装路径，此处最好不要用环境变量，保证JDK版本的一致性

9、修改core-site.xml配置文件

	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://name1.c4a1:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
	        <value>/app/hadoop2.7.2/hdfs/temp</value>
	</property>

10、修改hdfs-site.xml配置文件

	<property>  
	   <name>dfs.namenode.secondary.http-address</name>  
	   <value>name1.c4a1:9001</value>  
	</property>  
	<property>  
	     <name>dfs.namenode.name.dir</name>  
	     <value>file:/app/hadoop2.7.2/hdfs/name</value>  
	</property>  
	<property>  
	     <name>dfs.datanode.data.dir</name>  
	     <value>file:/app/hadoop2.7.2/hdfs/data</value>  
	</property>  
	<property>  
	     <name>dfs.replication</name>  
	     <value>3</value>  
	</property>  
	<property>
	     <name>dfs.webhdfs.enabled</name>  
	     <value>true</value>  
	</property>
	<property>
  		<name>dfs.http.address</name>
  		<value>name1.c4a1:50070</value>
	</property>

11、修改mapred-site.xml配置文件

cp mapred-site.xml.template mapred-site.xml

由于没有mapred-site.xml配置文件，需要根据mapred-site.xml.template生成

	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
        <name>mapreduce.jobhistory.address</name>
        <value>name1.c4a1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>name1.c4a1:19888</value>
    </property>

12、修改yarn-site.xml配置文件

	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>name1.c4a1</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>name1.c4a1:8088</value>
	</property>

13、修改slaves

data1.c4a2
data2.c4a3
data3.c4a4

清空里面所有内容，再设置datanode，每行一个

14、复制分发

scp -r hadoop2.7.2 [email protected]:/app/hadoop2.7.2
scp -r hadoop2.7.2 [email protected]:/app/hadoop2.7.2
scp -r hadoop2.7.2 [email protected]:/app/hadoop2.7.2

将设置好的hadoop文件复制分发到其他节点机器

15、格式化

/hadoop2.7.2/bin/hdfs namenode -format

格式化namenode

16/08/04 14:34:11 INFO util.ExitUtil: Exiting with status 0

出现status 0则为格式化成功

16、启动hadoop

/hadoop2.7.2/sbin/start-all.sh

该脚本会启动hdfs、yarn服务

17、检查结果

/hadoop2.7.2/bin/hadoop dfsadmin -report

通过生成dfs报告查看是否启动成功

-------------------------------------------------
Live datanodes(3)

有3个活动的datanode，hadoop安装成功

通过http://localhost:50070，进入hdfs管理控制台也可以查看是否安装成功。

CentOS安装Hadoop2.7.2详细过程

猜你喜欢