hadoop之使用LZO压缩文件并支持分片

文章目录

1.安装lzo以及生成测试数据

1.1生成未压缩的测试数据
1.2安装lzo相关工具
1.3使用lzop工具压缩测试数据

2.编译hadoop-lzo

2.1 获取hadoop-lzo源码
2.2mvn编译源码

3.配置hadoop

3.1上传hadoop-lzo.jar
3.2配置core.site.xml
3.3配置mapred-site.xml

4.LZO文件测试

4.1LZO文件不支持分片
4.2LZO文件支持分片

总结：

1.安装lzo以及生成测试数据

1.1生成未压缩的测试数据

先生成一个400M左右的测试数据，这样在使用lzo压缩后就能保证压缩文件大小大于数据块大小，方便后续测试分片效果。我是通过 cat a >> b,cat b >> a 方式快速实现的数据生成。
测试数据链接:

链接：https://pan.baidu.com/s/1SdW8Nkx-mvrSaoQ2A0U6jA  提取码：o5pn

1.2安装lzo相关工具

lzo格式文件压缩解压需要用到服务器的lzop工具，hadoop 的native库（hadoop checknative是没有的lzo,zip相关信息）并不支持

#检查是否有lzop命令，我这里显示是有的，说明安装过了lzop
[hadoop@hadoop001 ~]$ which lzop
/usr/bin/lzop

#若没有执行如下安装命令
[root@hadoop001 ~]# yum install -y svn ncurses-devel
[root@hadoop001 ~]# yum install -y gcc gcc-c++ make cmake
[root@hadoop001 ~]# yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
[root@hadoop001 ~]# yum install -y lzo lzo-devel lzop autoconf automake cmake

1.3使用lzop工具压缩测试数据

lzo压缩：lzop -v file
lzo解压：lzop -dv file

#压缩后文件后缀名为.lzo
[hadoop@hadoop001 click]$ ll -h
total 472M
-rw-r--r--. 1 hadoop hadoop 472M Apr 14 05:49 page_views.dat
[hadoop@hadoop001 click]$ lzop -v page_views.dat 
compressing page_views.dat into page_views.dat.lzo
[hadoop@hadoop001 click]$ ll -h
total 683M
-rw-r--r--. 1 hadoop hadoop 472M Apr 14 05:49 page_views.dat
-rw-r--r--. 1 hadoop hadoop 212M Apr 14 05:49 page_views.dat.lzo

2.编译hadoop-lzo

2.1 获取hadoop-lzo源码

下载源码包，并上传到服务器

源码地址：https://github.com/twitter/hadoop-lzo

2.2mvn编译源码

#解压
[hadoop@hadoop001 ~]$ unzip ~/source/hadoop-lzo-master.zip 

#mvn编译,等待出现BUILD SUCCESS则表示编译成功，几分钟左右
[hadoop@hadoop001 ~]$ cd ~/source/hadoop-lzo-master/
[hadoop@hadoop001 ~]$ mvn clean package -Dmaven.test.skip=true

#查看编译后的jar，hadoop-lzo-0.4.21-SNAPSHOT.jar则为我们需要的jar
[hadoop@hadoop001 hadoop-lzo-master]$ ll target/*.jar
-rw-rw-r--. 1 hadoop hadoop 180667 Apr 14 08:48 target/hadoop-lzo-0.4.21-SNAPSHOT.jar
-rw-rw-r--. 1 hadoop hadoop 185046 Apr 14 08:49 target/hadoop-lzo-0.4.21-SNAPSHOT-javadoc.jar
-rw-rw-r--. 1 hadoop hadoop  52023 Apr 14 08:48 target/hadoop-lzo-0.4.21-SNAPSHOT-sources.jar

3.配置hadoop

可参考hadoop之文件压缩格式对比分析以及配置实现中的hadoop具体配置，下面的配置我是直接贴出来的，可直接使用

3.1上传hadoop-lzo.jar

这一步很重要，踩坑

#将hadoop-lzo-0.4.21-SNAPSHOT.jar 复制到每台hadoop的common目录
[hadoop@hadoop001 hadoop-lzo-master]$ cp hadoop-lzo-0.4.21-SNAPSHOT.jar ~/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common/

[hadoop@hadoop001 hadoop-lzo-master]$ ll ~/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common/hadoop-lzo*
-rw-rw-r--. 1 hadoop hadoop 180667 Apr 14 08:52 /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar

3.2配置core.site.xml

# 停止hadoop
[hadoop@hadoop001 hadoop-lzo-master]$ stop-all.sh 

#编辑core-site.xml添加或修改如下内容
[hadoop@hadoop001 ~]$ vim ~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/core-site.xml 
-----------------------开始-------------------------------
<property>
	<name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.GzipCodec,
		org.apache.hadoop.io.compress.DefaultCodec,
		org.apache.hadoop.io.compress.BZip2Codec,
		org.apache.hadoop.io.compress.SnappyCodec,
		com.hadoop.compression.lzo.LzoCodec,
		com.hadoop.compression.lzo.LzopCodec
    </value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
-----------------------结束-------------------------------
解析：主要是配置com.hadoop.compression.lzo.LzoCodec、com.hadoop.compression.lzo.LzopCodec压缩类
	io.compression.codec.lzo.class必须指定为LzoCodec非LzopCodec，不然压缩后的文件不会支持分片的

3.3配置mapred-site.xml

这里主要是开启压缩，并指定默认的压缩格式

#编辑mapred-site.xml添加或修改如下内容
[hadoop@hadoop001 ~]$ vim ~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/mapred-site.xml 
-----------------------开始-------------------------------
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
</property>
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
<property>
<name>mapreduce.output.fileoutputformat.compress</name>
<value>true</value>
</property>
<property>
<name>mapreduce.output.fileoutputformat.compress.codec</name>
<value>org.apache.hadoop.io.compress.BZip2Codec</value>
</property>
-----------------------结束-------------------------------

#启动hadoop
[hadoop@hadoop001 ~]$ start-all.sh

4.LZO文件测试

LZO文件分片测试是在hive中进行的，hive的安装启动就不在这里详细的去写了

4.1LZO文件不支持分片

#创建LZO压缩文件测试表，若hadoop的common目录没有hadoop-lzo的jar，就会报类DeprecatedLzoTextInputFormat找不到异常
create table page_views2_lzo(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
) row format delimited fields terminated by '\t'
STORED AS INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat"
OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat";

#加载lzo格式的测试数据，注意
LOAD DATA LOCAL INPATH '/home/hadoop/data/click/page_views.dat.lzo' OVERWRITE INTO TABLE page_views2_lzo;

#查看数据
[hadoop@hadoop001 ~]$ hdfs dfs -du -s -h /user/hive/warehouse/wsktest.db/page_views2_lzo/*
211.0 M  211.0 M  /user/hive/warehouse/wsktest.db/page_views2_lzo/page_views.dat.lzo

#查询测试
select count(1) from page_views2_lzo;

控制台日志截取：Stage-Stage-1: Map: 1  Reduce: 1   Cumulative CPU: 6.88 sec   HDFS Read: 221259925 HDFS Write: 8 SUCCESS

由日志我们可以看出只有一个map任务，而我们的数据文件是远大于128M的，说明当前lzo文件默认不支持数据切片

4.2LZO文件支持分片

注意若不是直接load的lzo文件，需要开启压缩，且压缩格式为LzopCodec，load数据并不能改变文件格式和压缩格式。

#开启压缩，生成的压缩文件格式必须为设置为LzopCodec,lzoCode的压缩文件格式后缀为.lzo_deflate是无法创建索引的。
SET hive.exec.compress.output=true;
SET mapreduce.output.fileoutputformat.compress.codec=com.hadoop.compression.lzo.LzopCodec;

#创建LZO压缩文件测试表
create table page_views2_lzo_split
STORED AS INPUTFORMAT "com.hadoop.mapred.DeprecatedLzoTextInputFormat"
OUTPUTFORMAT "org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat"
as select *  from page_views2_lzo;

#查看数据，文件后缀为.lzo
[hadoop@hadoop001 ~]$ hdfs dfs -du -s -h /user/hive/warehouse/wsktest.db/page_views2_lzo_split/*
211.1 M  211.1 M  /user/hive/warehouse/wsktest.db/page_views2_lzo_split/000000_0.lzo

#构建LZO文件索引，使用我们之前打的jar包中的工具类
hadoop jar ~/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/common/hadoop-lzo-0.4.21-SNAPSHOT.jar \
com.hadoop.compression.lzo.LzoIndexer /user/hive/warehouse/wsktest.db/page_views2_lzo_split

#查询hdfs数据目录，可知在lzo文件同级目录有个.index索引文件
[hadoop@hadoop001 ~]$ hdfs dfs -du -s -h /user/hive/warehouse/wsktest.db/page_views2_lzo_split/*
211.1 M  211.1 M  /user/hive/warehouse/wsktest.db/page_views2_lzo_split/000000_0.lzo
15.7 K  15.7 K  /user/hive/warehouse/wsktest.db/page_views2_lzo_split/000000_0.lzo.index

#执行统计分析
select count(1) from page_views2_lzo_split;

控制台日志：Stage-Stage-1: Map: 2  Reduce: 1   Cumulative CPU: 8.66 sec   HDFS Read: 221521265 HDFS Write: 58 SUCCESS

由日志可知此时有两个map任务。即构建索引后支持数据分片。

总结：

大数据中常见的压缩格式只有bzip2是支持数据分片的，lzo在文件构建索引后才会支持数据分片