hadoop集群windows linux安装部署

1. JDK1.8安装（不做解释） 

2. 下载hadoop2.7.5.tar.gz，或者自行去百度下载。 

3. 下载hadooponwindows-master.zip（后面有用）

安装Hadoop：
下载好Hadoop2.7.5的压缩包之后，解压到目录，我放在D:\hadoop-2.7.5

4 修改hadoop配置文件

• 1.编辑“D:\hadoop-2.7.5\etc\hadoop”下的core-site.xml文件，将下列文本粘贴进去，并保存；

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/hadoop-2.7.5/workplace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/D:/hadoop-2.7.5/workplace/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

• 2.编辑“D:\hadoop-2.7.5\etc\hadoop”目录下的mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件，粘贴一下内容并保存:

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

• 3.编辑“D:\hadoop-2.7.5\etc\hadoop”目录下的hdfs-site.xml文件，粘贴以下内容并保存。请自行创建data目录，在这里我是在HADOOP_HOME目录下创建了workplace/data目录:

<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->
   

 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/hadoop-2.7.5/workplace/data</value>
    </property>
</configuration>

• 4.编辑“D:\hadoop-2.7.5\etc\hadoop”目录下的yarn-site.xml文件，粘贴以下内容并保存；

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

• 5.编辑“D:\hadoop-2.7.5\etc\hadoop”目录下的hadoop-env.cmd文件，将JAVA_HOME用 @rem注释掉，编辑为JAVA_HOME的路径，然后保存:

@rem set JAVA_HOME=%JAVA_HOME%

set JAVA_HOME=D:\java\jdk

• 替换文件

将下载好的hadooponwindows-master.zip（笔记第一步有下载地址，不知道可以去笔记开头的需求栏目查看）解压，将解压后的bin目录下的所有文件直接覆盖Hadoop的bin目录。

5运行环境

• 1.运行cmd窗口，执行“hdfs namenode -format”后继续输入'y',如图：

• 2.运行cmd窗口，切换到hadoop的sbin目录，执行“start-all.cmd”，它将会启动以下进程。

成功后，如图： 

目前Hadoop已经搭建完毕。

6测试：

根据你core-site.xml的配置，接下来你就可以通过：hdfs://localhost:9000来对hdfs进行操作了

hadoop自带的web控制台GUI

• 1.资源管理GUI:http://localhost:8088/；(默认是8088端口,自己可以更改随意端口)

• 2.节点管理GUI:http://localhost:50070/；