Hadoop基础教程03

第3章 理解MapReduce

3.1 键值对

3.1.1 具体含义

3.1.2 为什么采用键/值数据

3.1.3 MapReduce作为一系列键/值变换

3.2 MapReduce的Hadoop Java API

3.3 编写MapReduce程序

3.4 实践环节：设置classpath

3.5 实践环节：实现WordCount

3.6 实践环节：构建JAR文件

3.7 实践环节：在本地Hadoop集群运行WordCount

3.8 实践环节：在EMR上运行WordCount

3.8.1 0.20之前版本的Java MapReduce API

3.8.2 Hadoop提供的mapper和reducer实现

3.9 实践环节：WordCount的简易方法

3.10 查看WordCount的运行全貌

3.10.1 启动

3.10.2 将输入分块

3.10.3 任务分配

3.10.4 任务启动

3.10.5 不断监视JobTracker

3.10.6 mapper的输入

3.10.7 mapper的执行

3.10.8 mapper的输出和reducer的输入

3.10.9 分块

3.10.10 可选分块函数

3.10.11 reducer类的输入

3.10.12 reducer类的执行

3.10.13 reducer类的输出

3.10.14 关机

3.10.15 这就是MapReduce的全部

3.10.16 也许缺了biner

3.11 实践环节：使用biner编写WordCount

3.12 实践环节：更正使用biner的WordCount

3.13 Hadoop专有数据类型

3.13.1 Writable和Writable-Comparable接口

3.13.2 wrapper类介绍

3.14 实践环节：使用Writable包装类

3.15 输入/输出

3.15.1 文件、split和记录

3.15.2 InputFormat和RecordReader

3.15.3 Hadoop提供的InputFormat

3.15.4 Hadoop提供的RecordReader

3.15.5 OutputFormat和Record-Writer

3.15.6 Hadoop提供的OutputFormat

3.15.7 别忘了Sequence files

3.16 小结