Hadoop+Hive环境搭建

Hadoop+Hive环境搭建

1虚拟机和系统安装+JDK环境

JDK安装采用二进制包压缩方式(解压之后就是直接可用了,但需要修改环境变量,使其任何路径下都可行)
修改/etc/profile,~/.bashrc 配置文件,修改环境变量。

2 Hadoop安装

Hadoop安装采用二进制文件压缩方式

三种方式
1 单机:修改 环境变量使得Hadoop命令在任何路径下可运行

2 伪分布:修改配置文件 core-site.xml Hdfs-site.xml hadoop-env.sh
格式化namenode,运行jps查看是否6个进程都已启动。

3 集群

三种方式分别需要修改配置文件。

3 Hive安装
Hive安装采用二进制文件压缩方式
三种方式
1 内嵌修改 环境变量使得Hive命令在任何路径下可运行
2mysql
安装mysql,修改配置文件hive-site.xml 使其连接mysql,同时将mysqljdbc放到hive、lib中

3远程
修改配置文件hive-site.xml 加上

datanucleus.autoCreateSchema
true

Hive依赖于Hadoop,而Hadoop依赖于JDK,安装Hive后,Hive的启动交给Hadoop,需要配置hadoop配置文件,同时把hive/lib下的hive* jar拷贝到hadoop/lib下。在启动Hadoop时同时启动Hive,jsp查看是否存在进程runjar。

4mysql安装

采用二进制文件压缩方式,mysql安装之后需要配置密码登入方式,同时配置允许远程用户登入,为hive新建一个登入用户和数据库hive,授权。

安装问题:

Centos安装:
Vmtool安装:http://www.jb51.net/softjc/189144.html
Jdk安装:http://www.cnblogs.com/coffy/p/4516757.html
Hadoop安装:
http://blog.csdn.net/zhshulin/article/details/50410403
http://www.powerxing.com/install-hadoop/

mysql安装:
http://www.cnblogs.com/xxoome/p/5864912.html
http://blog.csdn.net/superchanon/article/details/8546254/

Hive安装:http://blog.csdn.net/linlinv3/article/details/49512587
http://blog.csdn.net/an342647823/article/details/46048403
http://www.cnblogs.com/kxdblog/p/4100263.html

猜你喜欢

转载自blog.csdn.net/u010865478/article/details/75100656