假设有两个文件,分别对应要关联的两张表(部门表,员工表)
部门表文件格式如下:
部门ID 部门名称
1 技术部
2 市场部
员工表文件格式如下:
部门ID 员工ID 员工姓名
1 1 小明
1 2 张三
2 3 李四
2 4 王五
我们希望根据上面两个文件找出部门和员工的对应关系:
部门名称 员工姓名
技术部 小明
技术部 张三
市场部 李四
市场部 王五
如果是关系型数据库,很容易通过表关联查询出上面的结果,通过Hadoop MapReduce也能实现同样的表关联。
思路:
关系型数据库是通过左右表的连接来实现两个表的关联,考虑到MapReduce的shuffle过程会将相同key值的value放在一起,
我们可以将左右表中待连接的列作为key值,左表和右表其余的数据放到value中,那么在reduce阶段,我们就能对values中的数据进行处理,找到我们需要的关联数据。
具体过程如下:
假设部门表作为左表,员工表作为右表,同时用一个标志位标识是左表还是右表(1代表左表,2代表右表)。
Map阶段:
输出的key是用于连接的列(部门ID),value是“左右表标识-其余列值”
对部门表的map操作将输出以下key-value对:
1:1-技术部
2:1-市场部
对员工表的map操作将输出以下key-value对:
1:2-小明
1:2-张三
2:2-李四
2:2-王五
Shuffle:
shuffle过程会将相同key值的value放在一起。
对上面map阶段输出的key-value对shuffle之后将输出以下key-values作为reduce的输入。
1:{1-技术部,2-小明,2-张三}
2:{1-市场部,2-李四,2-王五}
Reduce阶段:
对每一个key对应的values进行如下处理:
如果是左表(1),则将value归到部门数组或列表,如果是右表(2),则将value归到员工,然后部门和员工求笛卡尔积,输出到结果集中:
对于key(1),部门有技术部,员工有小明和张三,则输出如下结果:
技术部 小明
技术部 张三
同理,对于key(2),会输出如下结果:
市场部 李四
市场部 王五
那么最终总的输出结果如下:
部门名称 员工姓名
技术部 小明
技术部 张三
市场部 李四
市场部 王五
Hadoop MapReduce表关联
猜你喜欢
转载自kenblog.iteye.com/blog/2257480
今日推荐
周排行