大数据压缩处理:数据分卷压缩和分卷压缩解压

目录

一、前言

二、数据分卷压缩

三、分卷压缩解压


一、前言

最近工作有个需求,用kettle run了好几天的数据,最终产生了1W个文件,94G的大小
公司作为供应商需要提供处理之后的数据给甲方,虽然提供了VPN,
但是网络不稳定会有数据丢失的情况,数据分卷压缩可以很好地解决这个问题
10G的数据,使用好压分卷压缩,每个分卷1G,压缩之后只有6.1G
然后再通过VPN上传到服务器就相对容易能保证数据的完整性

二、数据分卷压缩

1、右键点击文件,选择“添加到压缩文件”

2、压缩文件格式选择“7Z”,压缩分卷大小这里选择了1G

 压缩之每个分卷压缩文件的文件名以 xxx,7z.00n 结尾,文件大小只有6.1个G

三、分卷压缩解压

分卷压缩文件只需要解压第一个文件,软件会自动识别压缩文件全部解压
需要注意的是每个分卷文件都缺一不可,并且在同一文件夹下,否则会解压失败
windows解压只需要右键点击第一个文件解压就可以全部解压

linux解压7z文件需要先安装解压工具

yum -y install p7zip 

解压命令

7za x filename.7z.001

猜你喜欢

转载自blog.csdn.net/qq262593421/article/details/108843325
今日推荐