MapReduce学习笔记-MR编程规范

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/qq_41826265/article/details/102719915

MR编程规范

用户编写的程序分为三部分：Mapper，Reducer，Driver

Mapper

1. 自定义的Mapper要继承自己的父类
2. 输入是kv对的形式，类型可自定义
3. 业务逻辑在map()函数中实现
4. 输出也是kv对形式
5. map()对每一组kv对只能调用一次

Reducer

1. 自定义的Reducer要继承自己的父类
2. 输入是类型对应Mapper的输出，也是kv对形式
3. 业务逻辑写在reducer()里
4. 对每一组相同的key的kv组调用一次reducer()，方便对一个key进行汇总操作

Driver

（基本上就是固定格式）