awk and hadoop 之reducer

配合上面一篇 mapper篇,这篇主要讲在reducer的时候怎么处理两个文件中的内容,在mapper中我们给每个文件中的内容打了 tag ,在第二个字段,然后就能处理了,只要key一样,就可以弄到一个文件中去。

awk -F '\t' '{
  id = $1;
  tag = $2;
  if (0 == tag){
    idPre = $1;
  }else (1 == tag && id == idPre){
    print $3"\t"id;    
  }  
}'

猜你喜欢

转载自sharp-fcc.iteye.com/blog/1972631