hadoop入门程序：词频统计

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/qq_42437577/article/details/101284823

1、在data文件夹下创建words文件

2、写文本

3、克隆会话
启动dfs和yarn

sbin/start-dfs.sh

    
     
     

    
     
     

      
      
1
     
     

sbin/start-yarn.sh

    
     
     

    
     
     

      
      
1
     
     

4、创建nwnu目录

bin/hadoop dfs -mkdir /nwnu

    
     
     

    
     
     

      
      
1
     
     

5、在浏览器中查看，发现nwnu目录以及创建

6、上传文件words至nwnu目录

bin/hdfs dfs -put /home/data/words /nwnu

    
     
     

    
     
     

      
      
1
     
     

7、再次查看浏览器，发现words文件已经上传至nwnu目录
8、利用hadoop自带的工具包进行词频统计

 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /nwnu/words /out

    
     
     

    
     
     

      
      
1
     
     

9、查看词频统计结果


10、windows系统连上Linux系统

C:\Windows\System32\drivers\etc

    
     
     

    
     
     

      
      
1
     
     

                                </div>
            <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-095d4a0b23.css" rel="stylesheet">
                </div>
</article>

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/qq_42437577/article/details/101284823

1、在data文件夹下创建words文件

2、写文本

3、克隆会话
启动dfs和yarn

sbin/start-dfs.sh

    
  
  

    
  
  

   
   
1
  
  

sbin/start-yarn.sh

    
  
  

    
  
  

   
   
1
  
  

4、创建nwnu目录

bin/hadoop dfs -mkdir /nwnu

    
  
  

    
  
  

   
   
1
  
  

5、在浏览器中查看，发现nwnu目录以及创建

6、上传文件words至nwnu目录

bin/hdfs dfs -put /home/data/words /nwnu

    
  
  

    
  
  

   
   
1
  
  

7、再次查看浏览器，发现words文件已经上传至nwnu目录
8、利用hadoop自带的工具包进行词频统计

 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /nwnu/words /out

    
  
  

    
  
  

   
   
1
  
  

9、查看词频统计结果


10、windows系统连上Linux系统

C:\Windows\System32\drivers\etc

    
  
  

    
  
  

   
   
1
  
  

                                </div>
            <link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-095d4a0b23.css" rel="stylesheet">
                </div>
</article>