sqoop的安装与配置

准备

在开始之前先安装并配置好mysql和hadoop

安装

下载地址：http://www.apache.org/dyn/closer.lua/sqoop/

注意：sqoop版本与hadoop版本不能相差太大
这里使用的版本为：
hadoop-2.7.7.tar.gz
sqoop-1.4.7.bin__hadoop-2.6.0.tar

解压到 /usr/local 下，并把名字改为 sqoop

配置环境变量

# set sqoop environment
export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

添加 jar 包

将 mysql-connector-java-8.0.22.jar 复制至/usr/local/sqoop/lib目录下。

配置

cd /usr/local/sqoop/conf
mv sqoop_env_template.sh sqoop_env.sh
vi sqoop_env.sh
# 更改以下内容
export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HBASE_HOME=/usr/local/hbase
export HIVE_HOME=/usr/local/hive
#export ZOOCFGDIR=
# 如果没有安装则不删除注释

测试

# 如果没有找到命令，请检查是否配置了环境变量
sqoop list-databases --connect jdbc:mysql://127.0.0.1:3306/ --username root --password 123456

向HDFS中导入数据

1. 在 mysql 中创建数据库

2. 在创建的数据库中创建表

3. 在表中插入数据

4. 启动 hadoop 后执行下面的命令

   sqoop import --connect jdbc:mysql://localhost:3306/DATA_BASE --table TABLE --username root --password 123456 -m 1