Hadoop wordcount 小实例

step one:

启动hadoop集群;

进入hadoop,为防止进入错误,可以先:cd / 进入根目录后,然后 cd ,就会进去hadoop下面

创建一个文件,或者rz上传一些文件,

  • touch test.guyong.cn
  • vi test.guyong.cn //然后再里面写一些内容

把创建的文件上传到HDFS中,

  • hadoop fs -put test.guyong.cn /

这是把test.guyong,cn的文件上传到HDFS的根目录下

然后就可以查看HDFS中的文件了

  • hadoop fs -ls /

step two:

在主节点hadoop01,也就是master上输入

  • hadoop jar /export/software/hadoop/hadoop-3.1.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount /test.guyong.cn /testwordcount/result

在hadoop安装目录下的share 文件下,找到mapreduce的example,wordcount 表示单词统计,然后对刚刚创建的test.guyong.cn进行单词统计,把结果result放到HDFS根目录下的testwordcount文件夹里面。

step three:

查看结果,查看HDFS里面的文件,

  • hadoop fs -ls / 
  • hadoop fs -ls /testwordcount/result

出现的两个结果,

/testwordcount/result/_SUCCESS
 /testwordcount/result/part-r-00000

第一个文件_SUCCESS 是标识此次运行成功

使用cat查看第二个文件

  • hadoop fs -cat /testwordcount/result/part-r-00000

里面就是你统计的结果,

猜你喜欢

转载自blog.csdn.net/QiwzDeBLOG/article/details/81205239