转自http://p-x1984.iteye.com/blog/702486
MapReduce的名字源于这个模型中的两项核心操作：Map和Reduce。也许熟悉Functional Programming的人见到这两个词会倍感亲切。简单的说来，Map是把一组数据一对一的映射为另外的一组数据，其映射的规则由一个函数来指定，比如对[1, 2, 3, 4]进行乘2的映射就变成了[2, 4, 6, 8]。Reduce是对一组数据进行归约，这个归约的规则由一个函数指定，比如对[1, 2, 3, 4]进行求和的归约得到结果是10，而对它进行求积的归约结果是24。
记住一点：Map的输出既是Reduce的输入。即：
Map：<k1,v1> ->list<k2,v2>
Reduce：<k2,list<v2>> -><k3,v3>
1) 在启动map函数前，需要对输入文件进行“分片”,也就是把所要输入的文件copy到HDFS中。
2) 在分片结束后，启动job就开始读取HDFS中的内容了，map对每条记录的输出以<key,value> pair的形式输出。
3) 在进入reduce阶段之前，还要将各个map中相关的数据（key相同的数据）进过洗牌，排序，reduce,归结到一起，发往一个reducer。
4) 进入reduce阶段。相同的key的map输出会到达同一个reducer,reducer对key相同的多个value进行“reduce操作”.
Map-Reduce框架的运作完全基于<key,value>对，即数据的输入是一批<key,value>对，生成的结果也是一批<key,value>对，只是有时候它们的类型不一样而已。Key和value的类由于需要支持被序列化（serialize）操作，所以它们必须要实现Writable接口，而且key的类还必须实现WritableComparable接口，使得可以让框架对数据集的执行排序操作。
一个Map-Reduce任务的执行过程以及数据输入输出的类型如下所示：
(input)<k1,v1> -> map -> <k2,v2> -> combine -> <k2,v2> -> reduce -> <k3,v3>(output)
下面通过一个的例子并结合源代码来详细说明这个过程
3.1 WordCount示例
这也是Hadoop自带的一个例子，目标是统计文本文件中单词的个数。
假设有如下的两个文本文件来运行WorkCount程序：
Hello World Bye World
Hello Hadoop GoodBye Hadoop
3.2 map数据输入
Hadoop针对文本文件缺省使用LineRecordReader类来实现读取，一行一个key/value对，key取偏移量，value为行内容。
如下是map1的输入数据：
Key1 Value1
0 Hello World Bye World
如下是map2的输入数据：
Key1 Value1
0 Hello Hadoop GoodBye Hadoop
3.3 map输出/combine输入
如下是map1的输出结果
Key2 Value2
Hello 1
World 1
Bye 1
World 1
如下是map2的输出结果
Key2 Value2
Hello 1
Hadoop 1
GoodBye 1
Hadoop 1
3.4 combine输出
Combiner类实现将相同key的值合并起来，它也是一个Reducer的实现。
如下是combine1的输出
Key2 Value2
Hello 1
World 2
Bye 1
如下是combine2的输出
Key2 Value2
Hello 1
Hadoop 2
GoodBye 1
3.5 reduce输出
Reducer类实现将相同key的值合并起来。
如下是reduce的输出
Key2 Value2
Hello 2
World 2
Bye 1
Hadoop 2
GoodBye 1