大数据环境部署篇06

第六阶段：Hive的安装部署

Hive安装部署

1. Hive的安装部署

注意hive就是一个构建数据仓库的工具，只需要在一台服务器上安装就可以了，不需要在多台服务器上安装。

此处以安装到node03为例；请大家保持统一

1.1 先决条件

• 搭建好三节点Hadoop集群；
• node03上先安装好MySQL服务；
• 参考文档：《CentOS 7安装MySQL5.7版本》

1.2 准备安装包

• 下载hive的安装包
  • http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.14.2.tar.gz
• 规划安装目录
  • /bigdata/install
• 上传安装包到node03服务器中的/ bigdata/soft路径下

1.3 解压

• 解压安装包到指定的规划目录/ bigdata/install

1. ~]$ cd /bigdata/soft/
   soft]$ tar -xzvf hive-1.1.0-cdh5.14.2.tar.gz -C /bigdata/install/

1.4 修改配置文件

• 修改配置文件hive-env.sh
  • 进入到Hive的安装目录下的conf文件夹中

1. soft]$ cd /bigdata/install/hive-1.1.0-cdh5.14.2/conf/
   • 重命名hive-env.sh.template
2. conf]$ mv hive-env.sh.template hive-env.sh
   • 修改hive-env.sh
3. conf]$ vi hive-env.sh
   • 如下，修改此文件中HADOOPHOME、HIVECONF_DIR的值（根据自己机器的实际情况配置）

• 配置HADOOP_HOME路径
  export HADOOP_HOME=/bigdata/install/hadoop-2.6.0-cdh5.14.2/
  
  #配置HIVE_CONF_DIR路径
  export HIVE_CONF_DIR=/bigdata/install/hive-1.1.0-cdh5.14.2/conf

                                              

 

• 修改配置文件hive-site.xml
  • conf目录下默认没有此文件，vi创建即可

1. conf]$ vi hive-site.xml
   • 文件内容如下

1. type="text/xsl" href="configuration.xsl"?>
   <configuration>
           <property>
                   <name>javax.jdo.option.ConnectionURL</name>
                   <value>jdbc:mysql://node03:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=latin1&amp;useSSL=false</value>
           </property>
   
           <property>
                   <name>javax.jdo.option.ConnectionDriverName</name>
                   <value>com.mysql.jdbc.Driver</value>
           </property>
           <property>
                   <name>javax.jdo.option.ConnectionUserName</name>
                   <value>root</value>
           </property>
           <property>
                   <name>javax.jdo.option.ConnectionPassword</name>
                   <value>123456</value>
           </property>
           <property>
                   <name>hive.cli.print.current.db</name>
                   <value>true</value>
           </property>
           <property>
                   <name>hive.cli.print.header</name>
               <value>true</value>
           </property>
          <property>
                   <name>hive.server2.thrift.bind.host</name>
                   <value>node03</value>
           </property>
   </configuration>

   • 修改日志配置文件hive-log4j.properties
     • 创建hive日志存储目录

•   [hadoop@node03 conf]$ mkdir -p /bigdata/install/hive-1.1.0-cdh5.14.2/logs/
  • 重命名生成文件hive-log4j.properties
•   [hadoop@node03 conf]$ pwd
    /bigdata/install/hive-1.1.0-cdh5.14.2/conf
    [hadoop@node03 conf]$ mv hive-log4j.properties.template hive-log4j.properties
    [hadoop@node03 conf]$ vi hive-log4j.properties # 修改文件
  • 修改此文件的hive.log.dir属性的值
•   #更改以下内容，设置我们的hive的日志文件存放的路径，便于排查问题
    hive.log.dir=/bigdata/install/hive-1.1.0-cdh5.14.2/logs/
•                                        

1.5 拷贝mysql驱动包

• 上传mysql驱动包，如mysql-connector-java-5.1.38.jar到/bigdata/soft目录中
• 由于运行hive时，需要向mysql数据库中读写元数据，所以需要将mysql的驱动包上传到hive的lib目录下

[hadoop@node03 ~]$ cd /bigdata/soft/
[hadoop@node03 soft]$ cp mysql-connector-java-5.1.38.jar /bigdata/install/hive-1.1.0-cdh5.14.2/lib/

1.6 配置Hive环境变量

• 打开/etc/profile文件

[root@node03 soft]# vi /etc/profile

• 末尾添加如下内容

export HIVE_HOME=/bigdata/install/hive-1.1.0-cdh5.14.2
export PATH=$PATH:$HIVE_HOME/bin

• 使配置生效

[hadoop@node03 soft]$ source /etc/profile

1.7 验证安装

• hadoop集群已启动
• mysql服务已启动
• 在node03上任意目录启动hive cli命令行客户端

[hadoop@node03 ~]$ hive

• 查看有哪些数据库

show databases;

                                                      

 

• 说明hive安装成功
• 退出cli

quit;

软件及视频链接：https://pan.baidu.com/s/1pEHcwWB51BhiYT8S7AQ1Lg
提取码：2580