hadoop版的Hello,World

成功安装了Hadoop,试试让神象奔跑起来的感觉吧。Hadoop自带的WordCount实例可以统计一批文本文件中各单词出现的次数,这样就可以让读者轻松地站在象背上说"hello,world"了。下面介绍如何执行WordCount实例。

    首先,新建一个目录,在这里以“input”命名:

     $mkdir input

     $cd input

    然后,在这里新建“text1”、"text2"文本文件并在文件中分别写入"hello world"、"hello hadoop":

     $echo "hello world">test1.txt

     $echo "hello hadoop">test2.txt

    接下来,将本地文件系统上input目录复制到HDFS的根目录下,重命名为“in”。“out”为数据处理完成后的输出目录(需要注意的是执行之前out目录必须为空,或者不存在这个目录,否则会报错),默认存放在分布式文件系统用户的根目录下。执行以下的命令:

   $bin/hadoop dfs -put input in

   $bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out

   任务执行完毕后,查看Hadoop分布式文件系统上数据处理的结果,执行:

   $bin/hadoop dfs -cat out/*

   另外,用户也可以把输出文件从Hadoop分布式文件系统复制到本地文件系统查看,具体命令如下:

   $bin/hadoop dfs -get out ouput

   $cat output/*

猜你喜欢

转载自blog.csdn.net/xiaoyu_2011/article/details/45312859