凡事谨守规模，必不大错
一生但足衣食，便称小康
相关链接
HDFS相关知识
Hadoop集群连接
HDFS Java API
Hadoop分布式文件系统（HDFS）Java接口（HDFS Java API）详细版
WordCount程序分析
IntelliJ IDEA运行WordCount
文件下载
- WordCount.java 提取码2kwo
具体步骤
注意：IntelliJ IDEA连接Hadoop集群执行完所有步骤后方可进行接下来的操作
- 在java目录下新建包cn.neu（包名自定），在该包中新建包connection.test（包名自定），将下载的WordCount.java文件拷贝到该包中
- WordCount.java代码中有两处参数值，因此需要配置参数
FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
点击IDEA右上角的“Edit Configurations”
点击弹出窗口左上角的“+”号，点击“Application”
在Main class中填写WordCount类的包路径，在Program arguments中填写程序两个参数，即输入路径和输出路径
以我填写的Program arguments参数为例："/input/data.txt" “/output/temp”，我的output目录中务必不存在temp目录
注意：输入路径中的文件存在于HDFS，输出路径最后一级目录务必不存在！否则会产生目录已存在的错误！
错误示例
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://master:9000/output/temp already exists
at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:146)
at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:562)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:432)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1296)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1293)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1293)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1314)
at cn.neu.connection.test.WordCount.main(WordCount.java:63)
- 点击运行即可，若出现
org.apache.hadoop.security.AccessControlException:Permission denied: user=...错误，需要在主函数第一行添加代码System.setProperty(“HADOOP_USER_NAME”, ”root”);，其中root为远程Hadoop所在虚拟机的主机名，每个人根据各自的情况填写
运行成功示例
EBUG - field org.apache.hadoop.metrics2.lib.MutableRate org.apache.hadoop.security.UserGroupInformation$UgiMetrics.loginSuccess with annotation @org.apache.hadoop.metrics2
…
DEBUG - IPC Client (2141179775) connection to master/172.16.29.94:9000 from Lenovo: closed
DEBUG - IPC Client (2141179775) connection to master/172.16.29.94:9000 from Lenovo: stopped, remaining connections 0
Process finished with exit code 0
- 使用XShell等终端模拟软件连接Hadoop集群所在的虚拟机，查看程序运行结果
[root@master ~]# hadoop fs -ls /output/temp
Found 2 items
-rw-r--r-- 3 Lenovo supergroup 0 2019-10-17 15:48 /output/temp/_SUCCESS
-rw-r--r-- 3 Lenovo supergroup 356409 2019-10-17 15:48 /output/temp/part-r-00000
[root@master ~]# hadoop fs -cat /output/temp/part-r-00000
...
zone 1
zur 2
zwaggered 1
也可执行命令hadoop fs -get /output/temp/part-r-00000 result.txt将结果文件保存到远程虚拟机上，并通过Xftp等SFTP文件传输软件将结果文件传输到本机
5. 若要再次执行，要么在参数配置中更改输出目录，要么删除输出路径下的文件，使用命令hadoop fs -rm -r /output/temp
有一个一劳永逸的方法，即在程序中主函数略加改动，即每次进行运算前检查输出路径是否存在，若存在则删除输出路径
改动前
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf,args).getRemainingArgs();
if(otherArgs.length != 2){
System.err.println("Usage WordCount <int> <out>");
System.exit(2);
}
改动后
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
String[] otherArgs = new GenericOptionsParser(conf,args).getRemainingArgs();
if(otherArgs.length != 2){
System.err.println("Usage WordCount <int> <out>");
System.exit(2);
}
Path outPath = new Path(otherArgs[1]);
if(fs.exists(outPath)) {
fs.delete(outPath, true);
}
有疑问的朋友可以在下方留言或者私信我，我尽快回答
欢迎各路大神萌新指点、交流！
求关注！求点赞！求收藏！