第三章 MapReduce 实现分布式运算

版权声明:如需转载,请注明出处! https://blog.csdn.net/qq_41172416/article/details/88711648

1、MapReduce 基础

1、并行计算:将大型而复杂的任务分解为许多小型任务同时计算,以提高计算机的处理能力

2、 MapReduce是实现了并行计算的编程模型,为用户提供接口,屏蔽并行计算的细节

3、map:映射,负责将任务分解成多个子任务; reduce:归约,负责把分解后多任务的处理结果进行汇总

1、MapReduce 架构设计

 1、四个基本概念

Job :MapReduce程序编写完成后需要配置成一个MapReduce作业

Task:作业中的任务,分为两类:MapTask和ReduceTask

JobTracker:负责创建MapTask或ReduceTask

TaskTracker:负责执行MapTask或ReduceTask


2、架构设计

MapReduce V1:

Master:JobTracker,初始化作业、创建调度子任务

Slave:TaskTracker,执行任务

MapReduce V2

YARN


2、MapReduce 编程模型

猜你喜欢

转载自blog.csdn.net/qq_41172416/article/details/88711648