Hadoop集群搭建详解以及安装包下载

1.创建一台虚拟机，并且克隆两台，并且配置好/etc/hosts文件的ip映射，克隆在我前面的博客里面有详细步骤。
这里写图片描述
如果搭建过程不成功有可能是防火墙的问题，关闭防火墙，重启就OK //chkconfig iptables off
2.将集群通信搭好，前面的文章里面也有，现在有一个简单的方法
（1）安装ssh客户端
（2）到这个里面有个安装脚本，运行一下就OK,注意自己的密码ssh免密登录运行脚本，实在不行就看我前面的文章里面搭
3.jdk安装，
（1）：把文件上传到linux
（2）:解压文件到安装目录 tar -zxvf /root/jdk-8u102-linux-x64.tar.gz -C /usr/local/
（3）:配置环境变量 vi /etc/profile

 export JAVA_HOME=/usr/local/jdk1.8.0_102
 export PATH=$PATH:$JAVA_HOME/bin

（5）让其生效，看看安装上没:source /etc/profile
4.hadoop的解压
上传HADOOP安装包
 规划安装目录 /usr/local/hadoop-2.8.3
 解压安装包，也解压到和jdk一个目录，方便去管理
链接：https://pan.baidu.com/s/1z5oDp8gkCBnNtemn9i4tEg 密码：ju6x
5.开始配置hadoop-env.sh //配置JAVA_HOME
（1）cd /usr/local/hadoop-2.8.3/etc/hadoop
(2)JAVA_HOME写上自己的java环境

6.配置 core-site.xml //HDFS默认路径，我写的注释一定记得删除
（1）还是当前目录，编辑xml文件
（2）在configuration里面配置
<property> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop-2.8.3/tmp </value>----->hadoop的临时文件目录，放在了hadoop安装目录里面 </property>
7.配置hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name> //namenode的落盘数据
<value>/usr/local/hadoop-2.8.3/data/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name> //datenode的落盘数据
<value>/usr/local/hadoop-2.8.3/data/data</value>
</property>

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

<property>
<name>dfs.secondary.http.address</name>
<value>hadoop01:50090</value>
</property>
</configuration>

8.配置hdfs
先拷贝一份xml文件 //配置提交任务的时候提交到哪
cp mapred-site.xml.template mapred-site.xml
在configuration里面配置

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

9.配置yarn-site.xml //resourceManager在哪里，和用于计算的辅助服务

<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

10.vi salves //它的小弟存放在哪
hadoop02
hadoop03

11.配置hadoop的环境变量
vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_102
export HADOOP_HOME=/usr/local/hadoop-2.8.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

12.都配置好了，将其配置的东西传输给别的小弟
scp -r /etc/hosts hadoop02:/etc/hosts
scp -r /usr/local/jdk1.8.0_102/ hadoop02:/usr/local/
scp -r /usr/local/hadoop-2.8.3/ hadoop02:/usr/local/
scp -r /etc/profile hadoop02:/etc/profile
将同样的命令发给hadoop03

13.启动集群
（1）先更新环境变量
source /etc/profile
(2)初始化
hadoop namenode -format
（2）启动HDFS
start-dfs.sh
（3）启动YARN
start-yarn.sh

Hadoop集群搭建详解以及安装包下载

猜你喜欢