mapreduce 两个版本的api

老版:mapred
新版:mapreduce

跟hadoop版本无关,比如2.6.5可以任意选新旧版本,但是任务的配置,启动,map和reduce的类接口还是不太一样

关于输出压缩文件:
// 新mr接口压缩
job.getConfiguration().setBoolean("mapred.output.compress", true); //启用输出文件压缩
job.getConfiguration()
.setClass("mapred.output.compression.codec", BZip2Codec.class, CompressionCodec.class); //选择压缩器

猜你喜欢

转载自www.cnblogs.com/brainstorm/p/9061210.html