版权声明:使用中有任何问题,可以留言。能解答尽量解答。 https://blog.csdn.net/liyyzz33/article/details/88397249
一、服务器&软件环境说明
服务器环境-hadoop2.7.7,java8
一共准备3台CentOS7 Server
192.168.1.70 node1
192.168.1.71 node2
192.168.1.72 node3
以下操作为三台机器同时配置
二、保障3个台机器时间保持一致。
可参考 时间同步方法:
https://blog.csdn.net/liyyzz33/article/details/86476245
三、关闭防火墙和selinux
可参考
https://blog.csdn.net/liyyzz33/article/details/86481232
四、配置hosts
vim /etc/hosts
下面添加
192.168.1.70 node1
192.168.1.71 node2
192.168.1.72 node3
五、配置ssh免密登录
可参考
https://blog.csdn.net/liyyzz33/article/details/84645410
六、安装jdk
可参考
https://blog.csdn.net/liyyzz33/article/details/86679382
以下只需先配置好node1,配置好后scp到node2、node3
七、下载hadoop
这里我们直接下载官网的二进制包
https://hadoop.apache.org/releases.html
wget http://mirrors.shu.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
mkdir /data/hadoop
tar -zxvf hadoop-2.7.7.tar.gz -C /data/hadoop/
八、配置hadoop
cd /data/hadoop/hadoop-2.7.7/etc/hadoop
加入 java环境路径
export JAVA_HOME= 修改为 export JAVA_HOME=/data/java/jdk1.8.0_201
2.core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<!-- 指定hadoop临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop/hddata/</value>
</property>
</configuration>
3.hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node2:50090</value>
</property>
</configuration>
4.mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
<configuration>
<!-- 指定mr框架为yarn方式 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5.yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
6.slaves
node1
node2
node3
7.加入环境变量
/etc/profile
export HADOOP_HOME=/data/hadoop/hadoop-2.7.7/
export PATH="$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin"
8.scp到node2,node3
scp -r /data/hadoop/hadoop-2.7.7 root@node2:/data/hadoop/
scp -r /data/hadoop/hadoop-2.7.7 root@node3:/data/hadoop/
scp -r /etc/profile root@node3:/etc/
scp -r /etc/profile root@node2:/etc/
9.3台机器更新环境变量
source /etc/profile
至此hadoop安装完毕。
下一节(二、初始化与启动)