1、cd /opt/softwares //切换到hadoop压缩包的安装目录下,我的目录在/opt/softwares
tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules //将压缩包解压到/opt/modules目录下
然后有如图所示的错误,则可以忽略,这是因为文件太大导致的,没有影响。
cd /opt/modules //切换到我们解压到的目录下,然后查看,发现多了一个我们解压后的hadoop
2、echo $JAVA_HOME //查看jdk的安装路径,接下来我们要配置hadoop的环境变量需要用到
3、cd /opt/modules/hadoop-2.5.0 //进入到解压后的hadoop目录下
vi etc/hadoop/hadoop-env.sh //这里记得提前切换到root用户,然后使用vi进去该目录下
然后修改环境变量,把上面查到的jdk路径复制下来。
4、上面就已经完成hadoop安装了,接下来我们就来测试一下hadoop单机模式
mkdir input //创建一个input文件夹
cp etc/hadoop/*.xml input //将etc/hadoop/*.xml 文件拷贝到input文件夹中
ls input //查看input文件中有哪些文件,这些文件就是我们刚刚拷贝出来的
5、bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar grep input output dfs'[a-z.]+'
//input是输入,output是输出
6、执行成功后查看目录,发现会多出一个output文件夹
再查看output文件夹,发现该文件夹里面有两个文件
cat output/part-r-00000 //查看该文件的内容,内容如下。
7、接下来我们再测试一个统计单词的
touch wc.text //首先,我们先创建一个输入文件
vi wc.text //然后我们编辑该文件,随便输入一些单词
8、bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount wc.text wcoutput
然后输入该命令运行,wc.text文件作为输入文件,wcoutput作为输出文件
9、执行成功后,我们查看会发现多了一个wcouput文件,该文件下也有两个文件
cat wcoutput/part-r-00000 //查看该文件的内容
内容如下图所示,统计我们wc.text文件输入的单词出现的次数,a出现了3次,am出现了1次..........
到此我们hadoop单机模式就已经成功了。