大数据环境部署第七章——Hvie的部署与我室友和Mysql之间的相爱相杀

一、Mysql安装

在这里插入图片描述
前言：（如果你已经安装好了Mysql了可以跳过此步骤）
说起Mysql干我们这行的，应该无人不熟悉吧，也是开发人员的必修课，每次安装Mysql总会安装遇到千奇百怪的错误，就拿我的室友XX人来说，他每次安装总会出些问题，而我安装的时候却又没出现什么问题，其实吧还是一个操作规范的问题，你的操作规范了自然这些问题也就不会找上你，但你要是毛手毛脚的搞完手工，那等待你可能就是一座"屎"山。不说了，下面来看看到底怎么安装吧。

1、第一步先清理门户
我们既然要安装Mysql（也就是要请别人到自己的麾下来）那必然要把屋子打扫干净，才能请别人把；

先看看房间又那些污渍吧

dpkg --list|grep mysql

在这里插入图片描述
不看不知道一看吓一跳，原来还有这么多污渍，那先来清理下

sudo apt-get remove mysql-common

在这里插入图片描述
好小子少了一半了，还有一些，再来

sudo apt-get autoremove --purge mysql-server-5.7

弹出一个这个（问你是否保留数据，你不行了，我要另请门户，必然要把你删干净啊，果断选择yes）
在这里插入图片描述

我 X 怎么还有，不急对付这些顽固分子另有方法：

dpkg -l|grep ^rc|awk '{print$2}'|sudo xargs dpkg -P

在这里插入图片描述
哈哈哈，这下没有了吧，激动得我查看了多次

2、屋子打扫干净了，该请客人了
在哪儿去找呢，那肯定时去别人家请啊，进入Mysql官网：

重要的信息我都标在图中了。
根据自己系统的配置，和需求选择相应版本即可，我这里因为是Ubuntu的系统，所以就选择的deb的包进行下载（直接刚最新版）

https://dev.mysql.com/get/mysql-apt-config_0.8.15-1_all.deb

# 下载
wget https://dev.mysql.com/get/mysql-apt-config_0.8.15-1_all.deb
# 安装mysql的配置包
dpkg -i mysql-apt-config_0.8.15-1_all.deb

就会弹出一个这样的对话框，按照我图中所说的，自行选择就是
在这里插入图片描述

这样就算将mysql要安装的配置导入成功了
因为我们刚才吧这个Mysql的安装包配置信息导入到了apt当中，但还没有生效，现在需要将apt的包的源进行更新下，同步一下配置

sudo apt-get update
# 更新完源后就要安装了
# 这里分别安装mysql的服务端和客户端
sudo apt-get install mysql-server mysql-client

在这里插入图片描述

3、人已请到现在要对其调教让他更尽人意

vim /etc/mysql/mysql.conf.d/mysqld.cnf
# 对其添加如下配置
# 也就是将默认编码改成utf8 从而解决中文乱码问题
character_set_server=utf8
collation_server = utf8_general_ci
[client]
default_character_set=utf8

# ！！！注意 ！！！
# 修改完毕后要将mysql服务重启才能生效
sudo service mysql restart

在这里插入图片描述

4、登录测试

mysql -u root -p
#输入你刚才配置的密码进行登录

-- 使用命令查看当前的编码集是否改变
SHOW variables LIKE '%character%';

在这里插入图片描述
至此恭喜你，MySQL已经安装成功，下面来看Hive的安装吧

二、Hive安装

在这里插入图片描述

1、什么是Hive
1）Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库；
2）一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制；
3）Hive 定义了简单的类SQL 查询语言，称为HQL，它允许熟悉SQL 的用户查询数据；
4）允许用Java开发自定义的函数UDF来处理内置无法完成的复杂的分析工作；
5）Hive没有专门的数据格式（分隔符等可以自己灵活的设定）；
2、下载Hive
Hive清华镜像

# 老三步
# 1.下载
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.6/apache-hive-2.3.6-bin.tar.gz
# 2.解压
tar -zxvf apache-hive-2.3.6-bin.tar.gz -C ~/opt/
# 3.创建软连接
ln -s apache-hive-2.3.6-bin/ hive

3、配置Hive
（1）在Mysql中配置Hive用户（因为hive的元数据是存放到MySQL当中所以需要用到MySQL，当然直接使用root用户也是可以的但是不建议）

-- 创建一个hive用户，密码为 123456
CREATE　USER 'hive'@'%' IDENTIFIED BY '123459';
-- 赋予hive用户权限
GRANT ALL PRIVILEGES ON *.* TO 'hive' WITH GRANT OPTION;
-- 刷新，使权限生效
FLUSH PRIVILEGES;
-- 退出
QUIT

在这里插入图片描述

（2）hive-env.sh

# 原本env文件是不存在的需要自己copy过来
cp hive-env.sh.template hive-env.sh
# 编辑hive配置文件
vim ~/opt/hive/conf/hive-env.xml
# 填入内容
export HADOOP_HOME=/home/hadoop/opt/hadoop
export HIVE_CONF_DIR=/home/hadoop/opt/hive/conf
export HIVE_AUX_JARS_PATH=/home/hadoop/opt/hive/lib

在这里插入图片描述
（3）hive-site.xml

# 这个文件原本也是不存在的，也需要自行复制
cp hive-default.xml.template hive-site.xml
# 编辑
vim hive-site.xml

在这里插入图片描述

填入内容，注意原本文件的配置全部删除即可

<configuration>
	<!--hive存放文件的默认文件格式-->
	<property>
		<name>hive.default.fileformat</name>
		<value>TextFile</value>
	</property>
	<!--连接mysql的地址-->
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
	</property>
	<!--连接mysql时java使用的驱动-->
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.cj.jdbc.Driver</value>
	</property>
	<!--连接mysql时使用的用户名，也就是刚刚新建的那个hive用户-->
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hive</value>
	</property>
	<!--上面用户密码-->
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>123456</value>
	</property>
	<!--是否验证存储再 metastore 中的版本是否和hive jar中的版本一致，
	     设置为 false 如果上述不一致则会发出警告-->
	<property>
		<name>hive.metastore.schema.verification</name>
		<value>false</value>
	</property>
</configuration>

（4）Mysql连接驱动
还是进入MySQL官网：

在这里插入图片描述

# 下载
wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java_8.0.19-1ubuntu18.04_all.deb
# 注意下载下来的是deb包，我们只需要jar包即可，当然你也可以安装
# 这里我只是解压即可
dpkg -X mysql-connector-java_8.0.19-1ubuntu18.04_all.deb ./
# 移动jar包到 hive的lib目录中去
mv usr/share/java/mysql-connector-java-8.0.19.jar ~/opt/hive/lib/

如果嫌麻烦可以直接在我的GitHub中拿取
https://github.com/NickWike/BigdataInstaller/raw/master/mysql-connector-java-8.0.19.jar
（5）添加环境变量

# 编辑
vim ~/.bashrc
# 末尾添加内容


# hive
export HIVE_HOME=/home/hadoop/opt/hive
export PATH=${HIVE_HOME}/bin:${PATH}

# :x 保存退出
# 刷新使之生效
source ~/.bashrc

4、初始化，并启动Hive
（1）首先启动hadoop （start-all.sh）
（2）在hdfs 中新建目录/user/hive
hdfs dfs -mkdir -p /user/hive
# 改变权限为733
hdfs dfs -chmod -R /user/

(3)初始化Mysql表

schematool -initSchema -dbType mysql

在这里插入图片描述

打开hive 进行测试
在这里插入图片描述
查一下数据看看，在建一个数据库看看

好了没问题，hive的安装到此结束，有问题的小伙伴，欢迎评论区探讨问题哟，或者私聊博主也行。

尼克不可

发布了27 篇原创文章 · 获赞 62 · 访问量 1万+

私信关注