2.2 Hive 本地模式安装

任务目的

• 掌握使用 RPM 离线安装 MySQL 组件的方法
• 掌握初始化和登录 MySQL 的命令
• 掌握 Hive 的安装部署
• 掌握 Hive 元数据配置到 MySQL 的步骤

任务清单

• 任务1：安装 MySQL
• 任务2：Hive 安装部署
• 任务3：Hive 元数据配置到 MySQL

任务步骤

任务1：安装 MySQL

1.1 解压安装包

　　现在已经为大家下载好了 MySQL 5.7.25 的安装包，存放在 /root/software 目录下，首先进入此目录下，使用如下命令进行解压即可使用：

tar -xvf mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar

　　将其解压到当前目录下，即 /root/software 中，效果图如下所示：

图1

1.2 安装 MySQL 组件

　　在大多数情况下，我们需要安装 mysql-community-server、mysql-community-client、mysql-community- libs、mysql-community-common 和 mysql-community-libs-compat 包，才能实现功能标准的 MySQL 安装。要是不想安装功能标准的 MySQL，也可以只安装 mysql-community-server 和 mysql-community-client 即可。

　　使用 rpm -ivh 命令依次安装以下组件：

　　（1）首先安装mysql-community-common （服务器和客户端库的公共文件），使用命令：

rpm -ivh mysql-community-common-5.7.25-1.el7.x86_64.rpm

　　命令解析：

• rpm：RPM软件包的管理工具。
• -ivh：--install--verbose--hash，安装rpm包且显示安装进度。

　　若是出现“100%”，则表示安装成功：

图2

　　（2）其次安装mysql-community-libs（MySQL数据库客户端应用程序的共享库），使用命令：

rpm -ivh mysql-community-libs-5.7.25-1.el7.x86_64.rpm

　　若是出现“100%”，则表示安装成功：

图3

　　（3）之后安装 mysql-community-libs-compat（MySQL 之前版本的共享兼容库），使用命令：

rpm -ivh mysql-community-libs-compat-5.7.25-1.el7.x86_64.rpm 

　　若是出现“100%”，则表示安装成功：

图4

　　（4）之后安装 mysql-community-client（MySQL客户端应用程序和工具），使用命令：

rpm -ivh mysql-community-client-5.7.25-1.el7.x86_64.rpm 

　　若是出现“100%”，则表示安装成功：

图5

　　（5）最后安装 mysql-community-server（数据库服务器和相关工具），使用命令：

rpm -ivh mysql-community-server-5.7.25-1.el7.x86_64.rpm 

　　若是出现“100%”，则表示安装成功：

图6

1.3 登录 MySQL

1. 初始化 MySQL 的数据库

　　安装好 MySQL 后，我们需要初始化数据库，初始化和启动数据库时最好不要使用root用户，而是使用mysql用户启动。

/usr/sbin/mysqld --initialize-insecure --user=mysql

　　对于MySQL 5.7.6以后的5.7系列版本，MySQL也可以使用 mysqld --initialize 初始化数据库，该命令会在 /var/log/mysqld.log 文件中生成一个登录 MySQL 的随机密码，而mysqld --initialize-insecure 命令不会生成随机密码，而是设置 MySQL 的密码为空。

2. 启动 MySQL 服务

　　使用如下命令开启 MySQL 服务，让其在后台运行：

/usr/sbin/mysqld --user=mysql &

　　说明：一定要加“&”，才能脚本放到后台运行。

　　执行后，系统会打印出命令执行的PID，如下图所示：

图7

3. 登录 MySQL

　　使用root用户无密码登录 MySQL：

mysql -uroot

　　若是出现下图效果，说明登录成功：

图8

4. 重置 MySQL 密码

　　在 5.7 版本后，我们可以使用 alter user...identified by命令把root用户的密码修改为“123456”，具体命令如下所示：

mysql> alter user 'root'@'localhost' identified by '123456';

　　效果如下图所示：

图9

　　修改完成，使用exit或者quit命令退出 MySQL，重新登录验证密码是否修改成功，具体命令如下所示：

mysql -uroot -p123456

　　效果如下图所示：

图10

1.4 增加远程登录权限

　　当我们的帐号不允许从远程登录，只能在localhost连接时。这个时候只要在 MySQL 服务器上，更改mysql 数据库里的 user 表里的 host 项，从localhost改成%即可实现用户远程登录。

（1）首先我们来查看 mysql 数据库下的 user表信息：

mysql> use mysql;  # 切换成mysql数据库
mysql> select user,host from user; # 查询用户信息

　　效果如下图所示：

图11

　　可以看到在user表中已创建的root用户。host字段表示登录的主机，其值可以用IP地址，也可用主机名。

（2）实现远程连接（授权法）

　　将 host 字段的值改为%就表示在任何客户端机器上能以root用户登录到 MySQL 服务器，建议在开发时设为%。

# 设置远程登录权限
mysql> update user set host='%' where host='localhost';
# 刷新配置信息
mysql> flush privileges;

　效果图如下所示：

图12

任务2：Hive 安装部署

　　Hive是大数据生态圈中最常用的数据仓库，也是有 Hadoop 集群的公司的必备。所以 Hive 安装和使用也是大数据开发或运维人员都必须掌握的。Hive的安装很简单，而且 Hive1.0 和 Hive2.0 版本的安装非常类似，完全可以套用。本门课程选择 hive2.3.4 作为教学版本！

2.1 解压安装包

　　现在已经为大家下载好了 hive2.3.4 的安装包，存放在 /root/software 目录下，首先进入此目录下，使用如下命令进行解压即可使用：

tar -zxvf apache-hive-2.3.4-bin.tar.gz

　　将其解压到当前目录下，即 /root/software 中，效果图如下所示：

图13

2.2 配置环境变量

　　（1）首先打开 /etc/profile 文件：

vim /etc/profile

　　（2）将以下内容添加到配置文件的底部，添加完成输入“:wq”保存退出：

# 配置Hive的安装目录		
export HIVE_HOME=/root/software/apache-hive-2.3.4-bin
# 在原PATH的基础上加入Hive的bin目录
export PATH=$PATH:$HIVE_HOME/bin

注意：

• export 是把这两个变量导出为全局变量。
• 大小写必须严格区分。

　　（3）让配置文件立即生效，使用如下命令：

source /etc/profile

　　（4）检测 Hive 环境变量是否设置成功，使用如下命令查看 Hive 版本：

hive --version

　　执行此命令后，若是出现 Hive 版本信息说明配置成功：

图14

2.3 修改配置文件 hive-env.sh

　　切换到 ${HIVE_HOME}/conf 目录下，将 hive-env.sh.template 文件复制一份并重命名为 hive-env.sh：

cp hive-env.sh.template hive-env.sh

　　修改完成，使用 vi 编辑器进行编辑：

vim hive-env.sh

　　在文件中配置 HADOOP_HOME、HIVE_CONF_DIR 以及HIVE_AUX_JARS_PATH 参数：

# 配置Hadoop安装路径
HADOOP_HOME=/root/software/hadoop-2.7.7

# 配置Hive配置文件存放路径
export HIVE_CONF_DIR=/root/software/apache-hive-2.3.4-bin/conf

# 配置Hive运行资源库路径
export HIVE_AUX_JARS_PATH=/root/software/apache-hive-2.3.4-bin/lib

　　如下图所示：

图15

　　配置完成，输入“:wq”保存退出。

任务3：Hive元数据配置到MySQL

3.1 驱动拷贝

　　将/root/software目录下的 MySQL 驱动包 mysql-connector-java-5.1.47-bin.jar 拷贝到 ${HIVE_HOME}/lib 目录下。

cd /root/software/
cp mysql-connector-java-5.1.47-bin.jar apache-hive-2.3.4-bin/lib/

　　进入 ${HIVE_HOME}/lib 目录下进行验证：

图16

3.2 配置 Metastore到MySQL

（1）在${HIVE_HOME}/conf目录下创建一个名为hive-site.xml的文件，并使用vi编辑器进行编辑：

touch hive-site.xml
vim hive-site.xml

（2）根据官方文档配置参数（https://cwiki.apache.org/confluence/display/Hive/AdminManual+Metastore+Administration），拷贝数据到 hive-site.xml 文件中：

<configuration>
<!--连接元数据库的链接信息 -->  
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hivedb?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<!--连接数据库驱动 --> 
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<!--连接数据库用户名称 -->  
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<!--连接数据库用户密码 --> 
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
<description>password to use against metastore database</description>
</property>
</configuration>

　　在 javax.jdo.option.ConnectionURL 参数的 value 值中添加 &useSSL=false，主要是为了避免之后初始化产生警告信息。添加&useUnicode=true&characterEncoding=UTF-8用来指定字符的编码、解码格式。另外，在 XML 中，包括 HTML 中，要显示 & 这个字符，必须对其转义转义，使用 & 进行转义。

3.3 初始化元数据库

　　注意：当使用的 Hive 是 2.x 之前的版本时，不做初始化也是 OK 的。Hive 第一次启动时会自动进行初始化，只不过不会生成足够多的元数据库的表，其它的在使用过程中会慢慢生成。如果使用的是 2.x 版本的 Hive，那么就必须手动初始化元数据库。 使用 schematool -dbType <db type> -initSchema 命令进行初始化：

schematool -dbType mysql -initSchema

　　若是出现“schemaTool completed”则初始化成功，如下图所示：

图17

3.4 Hive 连接

　　在任意目录下使用 Hive 的三种连接方式之一：CLI 启动 Hive。由于已经在环境变量中配置了 HIVE_HOME ，所以这里直接在命令行执行如下命令即可：

hive
或者
hive --service cli

　　效果如下图所示：

图18

　　可以使用如下命令退出 Hive 客户端：

hive> exit;
或者
hive> quit;