MapReduce编程模型2——Mapper简介

概述

Mapper用以将输入的K-V对映射为一组中间的K-V对。Maps是一些将输入记录转换为中间记录的单个的任务。转换后的中间记录的类型不需要和输入记录的类型相同。一个给定的输入K-V对可能会映射为0个或者多个输出对（output pair）。

Hadoop 的 Map-Reduce框架会为Job的每个 InputSplit 产生一个map task，InputSplit是由 InputFormat 生成。Mapper的实现可以通过 JobContext.getConfiguration()方法来访问job的Configuration；所有与给定输出键相关联的中间值随后按框架分组，并传递给一个Reducer以生成最终的输出。用户可以通过指定两个 key RawComparator 类来控制排序和分组（sortting、grouping）。

Mapper的输出会基于每个Reducer进行分区。用户可以通过实现一个自定义的Partitioner来控制哪些key由分配到哪个Reducer去。

用户还可以通过 Job.setCombinerClass(Class)来指定一个combiner用以执行中间输出的本地合并，该功能有助于减少Mapper到Reducer的数据传输。

应用程序可以知道是否以及如何压缩中间输出，可以通过Configuration配置来指定使用哪种CompressionCodecs（压缩算法）。

如果作业没有reduces任务，那么Mapper的输出将直接写入OutputFormat，而无需按key排序。

Mapper

Mapper有setup()，map()，cleanup()和run()四个方法。其定义如下：

protected void setup(Context context
                     ) throws IOException, InterruptedException {
  // NOTHING
}

protected void map(KEYIN key, VALUEIN value, 
                   Context context) throws IOException, InterruptedException {
  context.write((KEYOUT) key, (VALUEOUT) value);
}

protected void cleanup(Context context
                       ) throws IOException, InterruptedException {
  // NOTHING
}

public void run(Context context) throws IOException, InterruptedException {
  setup(context);
  try {
    while (context.nextKeyValue()) {
      map(context.getCurrentKey(), context.getCurrentValue(), context);
    }
  } finally {
    cleanup(context);
  }
}

其中，setup()是在一个task执行之前需要完成的准备工作；map() 是对分片中的每一个K-V对进行处理；cleanup()是在task执行完成后进行一些收尾工作。run方法则提供了前面三个方法执行的模板。

用户可以重写此run方法，以更完整地控制Mapper的执行。

参考：

http://hadoop.apache.org/docs/stable/api/org/apache/hadoop/mapreduce/Mapper.html

MapReduce编程模型2——Mapper简介

概述

Mapper

猜你喜欢