Hadoop入门之window安装单机版Hadoop

安装版本及环境:
JDK:1.8.0_121
Hadoop:2.7.1
eclipse :2018

一、准备阶段

所有要用到的软件、jar包和windows执行Hadoop必须的一些文件点此下载
jdk必须用32位的版本。。。

二、开始安装

1、解压hadoop-2.7.1.tar.gz,解压的位置最好和jdk在一个盘且不要在C盘(系统盘),解压过后的目录样式如下:
这里写图片描述
2、配置系统环境变量
复制hadoop的解压路径,比如我这里是E:\Hadoop\hadoop-2.7.1,打开系统的环境变量配置——>新建HADOOP_HOME
这里写图片描述
在Path中添加%HADOOP_HOME%\bin
这里写图片描述
保存即可
3、验证是否配置成功
cmd -> hadoop version
这里写图片描述

三、MapReduce编程

1、加入必须的文件,解压hadoop2.6(x64)V0.2.zip
这里写图片描述
将文件夹里的所有文件拷贝到E:\Hadoop\hadoop-2.7.1\bin目录下
这里写图片描述
然后再将E:\Hadoop\hadoop-2.7.1\bin里面的hadoop.dll文件拷贝到C:\WINDOWS\System32
这里写图片描述
2、启动eclipse,新建一个Java Project,按下图所示的样子完成创建
这里写图片描述
然后在项目下面新建一个lib文件,将必须包和文件里的lib文件里的jar包复制到项目包里的lib文件下
这里写图片描述
这里写图片描述
然后进行如下操作
这里写图片描述
3、在src下新建一个包hadoop,将People.java、PeopleRank.java、PeopleRank2.java复制到包里,然后change改一个名字就行了。
这里写图片描述
4、导入日志文件log4j.propertiesorg
直接将log4j.properties和org文件夹复制到src目录下
这里写图片描述
这里写图片描述
ps:如果注释编码有问题,可以更改成UTF-8就好了
5、配置MapReduce的输入和输出
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述
最后点击Run
6、查看计算完成的结果文件
成功的样子
去我们刚才配置输出的文件路径查看
这里写图片描述
这里写图片描述
到此我们的安装及一个测试就完成了,如果不能跑成功,可能是因为jdk的版本和hadoop不兼容的原因,或者没有加入那些必须的文件到bin下或者C盘,重启电脑

发布了51 篇原创文章 · 获赞 44 · 访问量 6万+

猜你喜欢

转载自blog.csdn.net/vpqtxzmzezeqjj9977/article/details/81056950