Hadoop_Map中获取当前spilt文件名

 

Hadoop_Map中获取当前spilt文件名

分类: hadoop mapreduce   3223人阅读  评论(0)  收藏  举报

有时候需要在Map类中的map函数中获取当前split所读取的文件名。

在旧版mapred下面实现方法如下:

// 获得输入文件的路径名
String path=((FileSplit)reporter.getInputSplit()).getPath().toString();

//使用Reporter reporter对象来获取,在新版mapreduce中,

Reporter reporter被封装在类MapContext中(StatusReporter reporter),

在map函数中就是Context context,实现方法应该类似,有兴趣的朋友可以试试。

-----------分割线----------->

import org.apache.hadoop.mapreduce.InputSplit; 
import org.apache.hadoop.mapreduce.lib.input.FileSplit;

InputSplit inputSplit = context.getInputSplit();
String fileName = ((FileSplit) inputSplit).getPath().toString();


扫描二维码关注公众号,回复: 559776 查看本文章

刚刚搜索了下,新版中实现如下(转载,未测试,方法应该正确)

以下转载:

在mapper中获取当前正在处理的HDFS文件名/HDFS目录名

有时候,Hadoop是按行来对数据进行处理的,由于对每一行数据,map()函数会被调用一次,我们有时可以根据文件名/目录名来获取一些信息,从而把它们输出,例如,目录名中包含了日期,则我们可以取出来并输出到Reducer。在map()函数中,我们可以这样取文件名:

1
2
InputSplit inputSplit = context.getInputSplit();
String fileName = ((FileSplit) inputSplit).getName();

假设当前正在处理的HDFS文件路径为:/user/hadoop/abc/myFile.txt,则上面的 fileName 取到的是“myFile.txt”这样的字符串。但如果要获取其目录名“abc”,则可以这样做:

1
2
InputSplit inputSplit = context.getInputSplit();
String dirName = ((FileSplit) inputSplit).getPath().getParent().getName();
 

猜你喜欢

转载自wangjin161.iteye.com/blog/2078283