Pig实现order by limit功能

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/yz930618/article/details/83506064

下面，将介绍如何利用Pig实现按多个值排序，并取每个组的前n个值。例如，取每个商品曝光前2的搜索词。

1. 文本数据

sku1,query11,pos11,50
sku1,query12,pos12,40
sku1,query13,pos13,20
sku2,query21,pos21,40
sku2,query22,pos22,30
sku3,query31,pos31,50
sku3,query32,pos32,20
sku3,query33,pos33,10
sku3,query43,pos43,5

2. 本地运行Pig

   如果，脚本运行所需内存不足，则修改Pig内存大小：export PIG_HEAPSIZE=4192。再以本地模式运行Pig

pig -x local

3. 脚本程序

records = LOAD 'user.txt' USING PigStorage(',') AS (sku:chararray,query:chararray,pos:chararray,pv:int);
grpd = GROUP records BY sku;
top3 = foreach grpd {
        sorted = order records by pv desc;
        top    = limit sorted 2;
        generate group, flatten(top);
};

4. 运行结果