大数据基础环境之hadoop（3台虚拟机）

hadoop集群搭建

实验步骤

安装hadoop

使用Xshell连接虚拟机：　

修改 /etc/hosts 文件（三台机器都需要操作），操作过程如下图所示：

注意：图中的ip地址为操作是使用的机器的ip地址，需要将hosts文件中的ip地址更换为我们将第一步所得到的ip地址！！！

6.当所有机器上的hosts文件配置完成之后，我们可以在master节点上输入 ssh slave1或者 ssh slave2 ，测试一下hosts文件是配置成功。

7.创建对应工作目录/usr/hadoop（在master节点上操作）

我们已经把hadoop的安装包放在了主节点的 /opt/soft 目录下，可以通过tar命令将其复制到我们刚才创建的hadoop工作目录中：

- mkdir -p /usr/hadoop
  - tar -zxvf /opt/soft/hadoop-2.7.3.tar.gz -C /usr/hadoop/
    解压后：

配置环境变量

1.配置环境变量

vim /etc/profile

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib

export PATH=$PATH:$HADOOP_HOME/bin

　　使用以下命令使profile生效：

source /etc/profile

2. 接下来我们需要对hadoop进行一些配置，所有的hadoop的配置文件都在 /usr/hadoop/hadoop-2.7.3/etc/hadoop中，所有我们需要使用 cd /usr/hadoop/hadoop-2.7.3/etc/hadoop命令进入到hadoop配置文件所在的目录中，如下图所示：

3. 使用vim命令编辑hadoop-env.sh文件：

vim hadoop-env.sh

在配置文件中输入内容：export JAVA_HOME=/usr/java/jdk1.8.0_171
输入完成后保存并退出

4.使用vim命令编辑core-site.xml文件，并在配置文件中加入以下内容：

vim core-site.xml

<name>fs.default.name</name>

<value>hdfs://master:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value>

<description>A base for other temporary directories.</description>

</property>

<name>io.file.buffer.size</name>

</property>

<name>fs.checkpoint.period</name>

</property>

<name>fs.checkpoint.size</name>

</property>

</configuration>

5.使用vim命令编辑yarn-site.xml文件，并在配置文件中加入以下内容：

<name>yarn.resourcemanager.address</name>

<value>master:18040</value>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:18030</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:18088</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:18025</value>

</property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:18141</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

5.使用vim命令编写slaves文件，并在其中加入以下内容：

6.使用vim命令编写master文件，并在其中加入以下内容：

7. 使用vim命令编辑hdfs-site.xml文件，并在配置文件中加入以下内容：

<name>dfs.replication</name>

</property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value>

</property>

<name>dfs.namenode.secondary.http-address</name>

<value>master:9001</value>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

8. 使用vim命令编辑mapred-site.xmll文件，并在配置文件中加入以下内容：
但是文件夹内并没有mapred-site.xml这个文件所以我们需要使用cp命令将mapred-site.xml.template 复制为 mapred-site.xml：
cp mapred-site.xml.template mapred-site.xml
然后对其进行编辑，并在配置文件中加入以下内容：