Win10安装使用Hadoop3.1.0

本章将一步一步在win10下安装Hadoop3.0.0，并启动服务进行简单的hdfs操作。

准备工作

1、Hadoop官方下载地址： http://hadoop.apache.org/releases.html

选择最新的3.0.0版本后跳转至下面的页面选择红色框部分链接即可下载，建议采用专业的下载工具下载，速度更快

2、将tar.gz包解压至D盘根目录：

Note：必须用管理员权限解压

3、配置环境变量:

• 添加HADOOP_HOME配置：

• 在Path中添加如下：

4、Hadoop需要依赖JDK，考虑其路径中不能有空格，故直接安装如下目录：

Hadoop配置

1、修改D:/hadoop-3.0.0/etc/hadoop/ core-site.xml配置:

[html] view plain copy

1. <configuration>  
2.     <property>  
3.        <name>fs.default.name</name>  
4.        <value>hdfs://localhost:9000</value>  
5.    </property>  
6. </configuration>  

2、修改D:/hadoop-3.0.0/etc/hadoop/ mapred-site.xml配置:

[html] view plain copy

1. <configuration>  
2.     <property>  
3.        <name>mapreduce.framework.name</name>  
4.        <value>yarn</value>  
5.    </property>  
6. </configuration>  

3、在D:/hadoop-3.0.0目录下创建data目录，作为数据存储路径：

• 在D:/hadoop-3.0.0/data目录下创建datanode目录；
• 在D:/hadoop-3.0.0/data目录下创建namenode目录；

4、修改D:/hadoop-3.0.0/etc/hadoop/ hdfs-site.xml配置:

[html] view plain copy

1. <configuration>  
2.     <!-- 这个参数设置为1，因为是单机版hadoop -->  
3.     <property>  
4.         <name>dfs.replication</name>  
5.         <value>1</value>  
6.     </property>  
7.     <property>   
8.      <name>dfs.permissions</name>   
9.      <value>false</value>   
10.   </property>  
11.    <property>  
12.        <name>dfs.namenode.name.dir</name>  
13.        <value>/D:/hadoop-3.0.0/data/namenode</value>  
14.    </property>  
15.    <property>  
16.         <name>fs.checkpoint.dir</name>  
17.         <value>/D:/hadoop-3.0.0/data/snn</value>  
18.     </property>  
19.     <property>  
20.         <name>fs.checkpoint.edits.dir</name>  
21.         <value>/D:/hadoop-3.0.0/data/snn</value>  
22.     </property>  
23.        <property>  
24.        <name>dfs.datanode.data.dir</name>  
25.        <value>/D:/hadoop-3.0.0/data/datanode</value>  
26.    </property>  
27. </configuration>  

5、修改D:/hadoop-3.0.0/etc/hadoop/ yarn-site.xml配置:

[html] view plain copy

1. <configuration>  
2. <!-- Site specific YARN configuration properties -->  
3.     <property>  
4.         <name>yarn.nodemanager.aux-services</name>  
5.         <value>mapreduce_shuffle</value>  
6.    </property>  
7.    <property>  
8.         <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>    
9.         <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
10.    </property>  
11. </configuration>  

6、修改D:/hadoop-3.0.0/etc/hadoop/ hadoop-env.cmd配置，找到" set JAVA_HOME=%JAVA_HOME%"替换为"set JAVA_HOME=D:\hadoop-3.0.0\jdk1.8.0_151"

7、bin目录替换，至 https://github.com/steveloughran/winutils 下载解压

找到对应的版本后完整替换bin目录即可

至此配置完成.

启动服务

1、D:\hadoop-3.0.0\bin> hdfs namenode -format

2、通过start-all.cmd启动服务：

3、此时可以看到同时启动了如下4个服务：

• Hadoop Namenode
• Hadoop datanode
• YARN Resourc Manager
• YARN Node Manager 

HDFS应用

1、通过 http://127.0.0.1:8088/ 即可查看集群所有节点状态：

2、访问 http://localhost:9870/ 即可查看文件管理页面：

• 进入文件管理页面：

• 创建目录：

• 上传文件

• 上传成功

Note：在之前的版本中文件管理的端口是50070 ，在3.0.0中替换为了9870端口，具体变更信息来源如下官方说明

http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Web_Interface

3、通过hadoop命令行进行文件操作：

• mkdir命令创建目录：hadoop fs -mkdir hdfs://localhost:9000/user

如下新增的user目录

• put命令上传文件：hadoop fs -put C:\Users\songhaifeng\Desktop\11.txt hdfs://localhost:9000/user/

如下上传文件

• ls命令查看指定目录文件列表：hadoop fs -ls hdfs://localhost:9000/user/