大数据实战 Linux Ubuntu 20.04.1 hive数据仓库安装

Hive是什么？
由facebook开源的用于解决海量结构化日志的数据统计，后称Apache Hive 的开源项目。
Hive是基于Hadoop文件系统上的数据仓库架构。存储用HDFS，计算用MR。它为数据仓库管理提供大量功能，如数据ETL（详细看前文）工具，数据存储管理与大型数据查询和分析能力。
同时Hive还定义了类SQL语言–Hive QL，允许用户进行和SQL相似的操作。他可以将结构化数据的数据文件转化为一张数据表，并提供简单的查询功能。可以将SQL转化为MapReduce语句。
Hive可以理解成为一个工具，不存在主从结构，不用安装到每台机器上，只需要安装几台就行了。
默认数据库：derby，后期转换成关系型数据库mysql。
看看下图hive在Hadoop生态系统中的位置。

接着看下Hive体系结构。

Meta store引进元数据。
HDFS和MapReduce。最原始的数据其实还是在HDFS上，并且在跑一些SQL语句的时候，内部实际上是跑MapReduce。
Client客户端。可通过JDBC或者CLI提交任务到Driver上面运行，SQL Parser将数据变化成抽象语法树，然后解析成Physical Plan放到Execution上执行（其实也是在MR中执行）。

这边注意，meta store并不是数据库，而是数据！存放元数据的具体信息。
下面就是对Driver的详细拆解。

这里可以结合上面的图进行理解。
下面的话是整体流程。

这里再客户端提交了任务，先读取meta data找到元数据信息，包括存放位置，大小等，然后再放到Driver进行解析，然后放到map reduce上跑。
出处：
参考文献

总结：Hive必须在Hadoop环境下安装

1 hive2.3.6数据仓库安装

1.1 Master 节点安装 MySQL 软件

sudo apt update

1.1.1 安装 MySQL

注：apt为在线更新，有时候更新不了。
原因：电脑连接wifi和连接网线的dns不同
解决办法：查看dns，若你需要连接网线，就换网线的dns；若你需要连接wifi，就换wifi的dns。

1.1.2 设置 MySQL 参数

sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf

bind-address = 127.0.0.1 改为 0.0.0.0

最后添加：
default-storage-engine = innodb
innodb_file_per_table=on
collation-server = utf8_general_ci
character-set-server = utf8

1.1.3 设置开机自动启动

sudo systemctl enable mysql.service

1.1.4 启动 MySQL 服务

sudo systemctl start mysql.service

1.1.5 初始化 MySQL

sudo mysql_secure_installation

1.1.6 给 MySQL 用户 hive 授权

sudo mysql -uroot -p123456

show databases;

use mysql;

create user ‘hive’@’%’ identified by ‘Yun@123456’;

grant all privileges on *.* to 'hive'@'%';

create user ‘hive’@‘localhost’ identified by ‘Yun@123456’;

grant all privileges on *.* to 'hive'@'localhost';

alter user ‘hive’@’%’ require none;

1.1.7 重启 MySQL 服务

sudo systemctl restart mysql.service

2 Master 节点安装 Hive 软件

2.1 以用户 angel 登录 Master 节点，安装 Hive 软件

通过winscp将Hive上传到节点机

sudo tar xzvf /home/angel/apache-hive-2.3.6-bin.tar.gz

sudo chown -R angel:angel /app/apache-hive-2.3.6-bin

3 Master 节点设置 Hive 参数

3.1 Hive 配置文件改名

cd /app/apache-hive-2.3.6-bin/conf

3.2 修改 hive-env.sh 文件

vim.tiny hive-ens.sh


添加：

HADOOP_HOME=/app/hadoop-2.8.5/
export HIVE_CONF_DIR=/app/apache-2.3.6-bin/conf/
export HIVE_AUX_JARS_PATH=/app/apache-hive-2.3.6-bin/lib/

3.3 新建 hbase-site.xml 文件

添加内容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
   	<property>
        		<name>hive.metastore.warehouse.dir</name>
		<value>/hive/warehouse</value>
		<description>location of default database for the warehouse</description>
	</property> 
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;allowPublicKeyRetrieval=true</value>
		<description>JDBC connect string for a JDBC metastore.</description>
	</property> 
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>Driver class name for a JDBC metastore</description>
	</property> 
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hive</value>
		<description>Username to use against metastore database</description>
	</property> 
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>Yun@123456</value>
		<description>password to use against metastore database</description> 
	</property> 
	<property>
	<name>hive.querylog.location</name>
	<value>/app/apache-hive-2.3.6-bin/logs</value>
	<description>Location of Hive run time structured log file</description>
	</property> 
	<property>
	<name>hive.metastore.uris</name>
	<value>thrift://master:9083</value>
	<description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
	</property> 
	<property>
	<name>hive.server2.webui.host</name>
	<value>0.0.0.0</value>
	</property> 
	<property>
	<name>hive.server2.webui.port</name>	
	<value>10002</value>
	</property> 
	<property>
	<name>hive.metastore.schema.verification</name>
	<value>false</value>
	</property>
</configuration>

3.4 上传“mysql-connector-java-5.1.48.jar”连接包到/app/apache-hive-2.3.6-bin/lib 目录下

3.5 修改环境变量

3.6 环境变量生效

source .profile

4 Master 节点启动 Hive 服务

4.1 创建数据库 hive，导入 hive-schema

cd /app/apache-hive-2.3.6-bin/scripts/metastore/upgrade/mysql

mysql -hmaster -uhive -pYun@123456

source hive-schema-2.3.0.mysql.sql;


ctrl+D 退出。

4.2 启动 hive metastore 服务

hive --service metastore &


按回车，再输入hive，就可以进入jice操作界面。

4.3 启动 hiveserver2 服务

hiveserver 2 &

启动服务后，jps查看后台进程。

5 客户端主机安装 Hive 软件

5.1 以用户angel 登录客户端主机安装 Hive软件，客户端主机可以是任何一台Slave节点机或 desktop 主机

sudo scp -r angel@master:/app/apache-hive-2.3.6-bin /app/apache-hive-2.3.6-bin

输入angel用户密码
输入master的root密码

sudo chown -R angel:angel /app/apache-hive-2.3.6-bin

5.2 修改 hive-site.xml 文件

cd /app/apache-hive-2.3.6-bin/conf/

vim.tiny hive-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/hive/warehouse</value>
		<description>location of default database for the warehouse</description>
	</property> 
	<property>
		<name>hive.querylog.location</name>
		<value>/app/apache-hive-2.3.6-bin/logs</value>
		<description>Location of Hive run time structured log file</description>
	</property> 
	<property>
		<name>hive.metastore.uris</name>
		<value>thrift://master:9083</value>
		<description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
	</property> 
	<property>
		<name>hive.metastore.schema.verification</name>
		<value>false</value>
	</property>
</configuration>

5.3 修改环境变量

添加内容：

export HIVE_HOME=/app/apache-hive-2.3.6-bin
export PATH=$PATH:$HIVE_HOME/bin

激活环境变量
source .profile

6 测试 Hive

6.1 客户端主机测试 Hive

6.2 查看数据库

6.3 打开浏览器输入“http://172.25.0.10:10002/hiveserver2.jsp ”，查看 hiveserver2 服务

到此，hive数据仓库安装成功！