Hadoop集群搭建（一）—— Liunx网络、主机名配置，多台虚拟机的相互连通和远程登陆
Hadoop集群搭建（二）—— Linux系统SSH远程双向免密登陆
首先确保虚拟机都完成了网卡、主机名、hosts文件等配置
确保安装了jdk和hadoop并且配置了环境变量，最好都是同样的路径
确保虚拟机之间都能互相ping通以及两两之间能够ssh免密登陆
我这里创建了三台虚拟机，配置信息如下
| ip地址 | 主机名 | 节点 |
|---|---|---|
| 192.168.3.9 | hadoop01 | 主节点 |
| 192.168.3.10 | hadoop02 | 子节点 |
| 192.168.3.11 | hadoop03 | 子节点 |
配置开始
下面的操作都在主节点操作（配置完可以通过scp拷贝给子节点，省时间）
接下来我们就开始最后的hadoop配置，打开hadoop安装目录
然后进入 etc/hadoop目录下，这里面就是hadoop的配置文件了
（1）修改 hadoop-env.sh 文件
找到下图位置，将注释去掉，路径改成自己的jdk安装路径
（2）修改 yarn-env.sh 文件
找到如图位置，去掉注释，将路径改成自己的jdk安装路径
（3）修改 core-site.xml 文件
在配置文件中添加如下信息
<!-- hadoop的核心配置文件 -->
<configuration>
<property>
<!-- 指定namenode（主节点）在hadoop01虚拟机上 -->
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<property>
<!-- 块大小 -->
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<!-- hadoop的临时目录 -->
<name>hadoop.tmp.dir</name>
<value>file:/usr/hadoop/tmp</value>
</property>
</configuration>
（4）修改 hdfs-site.xml 文件
在配置文件中添加如下信息
<!-- 配置datanode（子节点）进程 -->
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>file:/usr/hadoop/dfs/data</value>
</property>
<property>
<!-- 指定HDFS副本的数量（一般几个子节点就设置为几个） -->
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
（5）修改 mapred-site.xml 文件
该文件时默认不存在的，需要指令 cp mapred-site.xml.template mapred-site.xm 复制一份出来
然后添加如下信息（hadoop01是主节点的主机名）
<!-- MapReduce的核心配置文件，指定MapReduce的运行框架为YARN -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop01:19888</value>
</property>
</configuration>
（6）修改 yarn-site.xml 文件
hadoop01是主节点的主机名
<configuration>
<!-- 指定YARN集群的管理者（ResourceManager）的地址 -->
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop01:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop01:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop01:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop01:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop01:8088</value>
</property>
<property>
<!-- NodeManager的附属服务 -->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
（7）修改 masters 文件
这个文件没有的，需要创建编写，指令 vi masters
写主节点的IP地址或者主机名都可以
（8）修改 slaves 文件
这里写子节点的配置信息，IP地址或者主机名都可以，最好跟（7）一致
（9）拷贝给子节点
将配置好的配置文件的文件夹发给其他节点
[root@hadoop01 hadoop]# scp -r hadoop hadoop02:/export/servers/hadoop-2.7.3/etc/
[root@hadoop01 hadoop]# scp -r hadoop hadoop03:/export/servers/hadoop-2.7.3/etc/（10）创建目录（主节点操作）
[root@hadoop01 hadoop]# mkdir /usr/hadoop/tmp -p
[root@hadoop01 hadoop]# mkdir /usr/hadoop/dfs/name -p
[root@hadoop01 hadoop]# mkdir /usr/hadoop/dfs/data -p（11）赋予权限
//添加用户组
[root@hadoop01 hadoop]# groupadd hadoop
[root@hadoop01 hadoop]# useradd -g hadoop hadoop -s /bin/false
//赋予权限
[root@hadoop01 hadoop]# chown -R hadoop:hadoop /usr/hadoop/（12）将/usr/hadoop拷贝给子节点
[root@hadoop01 hadoop]# scp -r /usr/hadoop/ hadoop02:/usr/
[root@hadoop01 hadoop]# scp -r /usr/hadoop/ hadoop03:/usr/
（13）配置变量（全部子节点，主节点不用）
修改/etc/profile配置文件，在文件尾部添加如下信息，指令 vi /etc/profile
#set hadoop environment
export HADOOP_HOME=/usr/hadoop
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH添加完之后，输入指令使配置文件生效（全部都要）
[root@hadoop01 hadoop]# source /etc/profile（14）权限
全部子节点按 (11) 操作赋予权限
（15）格式化（主节点上）
[root@hadoop01 hadoop]# hadoop namenode -format出现 successfully 就说明成功了，否则的会提示报错
（16）启动集群（主节点上）
start-all.sh是一键启动的指令（必须要求互相之间能够免密登陆）
[root@hadoop01 hadoop]# start-all.sh（17）查看节点状态
可以输入 jps 查看虚拟机的状态（只能看自己的）
输入 hdfs dfsadmin -report 可以查看所有节点的信息
同时我们还可以在windows浏览器上查看界面
首先在主节点上关闭防火墙
[root@hadoop01 hadoop]# systemctl stop firewalld.service然后修改windows的hosts的文件（C:\Windows\System32\drivers\etc），在顶部加入如下信息
192.168.3.9 Hadoop01
192.168.3.10 hadoop02
192.168.3.11 hadoop03最后打开浏览器输入地址 hadoop01:50070 （HDFS文件系统）
输入地址 hadoop01:8088 （YARN服务）
跟着上面的步骤肯定没有问题，如有问题报错，评论区说明即可，我会立马回复解决