二次排序

二次排序

(对value值也进行排序,需要建所要排序的字段与真正的key拼接形成自定义的key

<!--[if !supportLists]-->1.       1.<!--[endif]-->map最后阶段进行partition,一般使用job.setPartitionerClass()设置的类进行分区,每个分区映射到一个reducer。如果没有自定义的KeyhashCode()方法进行分区。

  

2.每个分区内又调用job.setSortComparatorClass()设置的key比较函数类排序(如果没有通过job.setSortComparatorClass()设置key比较函数类,则使用key的实现的compareTo方法)。可以看到,这是一个二次排序(可能需要写一个比较函数的实现类,主要作用是如果key相同的情况下对value进行排序) 

 

 3.reduce接收到所有Map传输过来的数据之后,调用job.setSortComparatorClass()设置的key比较函数对所有数据排序,如果没有则使用key的实现的CompareTo方法. 

 

4.紧接着使用job.setGroupingComparatorClass设置的分组函数类,进行分组,同一个keyvalue值放在同一个迭代器中。

 

Hadoop

1.选择key

扫描二维码关注公众号,回复: 363989 查看本文章

2.通过key、自定义keyTreeMap等进行排序

 

 

 

 

 

 

 

猜你喜欢

转载自lixgjob.iteye.com/blog/2307493