Sqoop介绍:
一种用于在大数据传输数据的工具。主要作用在mysql与大数据集群(hdfs,hive,hbase)之间的数据传输。
Sqoop原理:
将导入导出命令转化成MR程序来实现。
Import:
是指Mysql数据导入大数据集群
Export:
是指将大数据集群数据导出到mysql
Sqoop导入到HDFS主要方式:
全部导入
–query 查询导入
–where 条件导入
–columns列导入
Sqoop导入数据到Hive经过两步:先将数据导入到HDFS后,在import导入hive
Sqoop导入数据到Hbase要指定rowkey,列族,列(一步到位)
Sqoop导出数据:
调用脚本文件(内含导出数据Linux命令)执行导出命令:
bin/sqoop --options-file [脚本文件名]