废话少说,开门见山。
1:hive版本:2.3.3
下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/
2:hadoop版本:2.7.6
3:hbase版本:1.3.2
hive部署在hadoop的Master机器上,这里,主要针对conf下若干文件进行修改,并替换和删除lib目录下的包:
首先,修改hive-env.sh
cp hive-env.sh.template hive-env.sh
修改hive-env.sh文件:
HADOOP_HOME=/opt/hadoop2 JAVA_HOME=/opt/java HIVE_HOME=/opt/hive SPARK_HOME=/opt/spark HBASE_HOME=/opt/hbase
上面对应的目录改成自己的目录即可:
接着,新建hive-site.xml文件:
touch hive-site.xml
添加内容:
<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://192.168.100.103:3306/ccx_hive?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>u_ccx_hive</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>123456</value> </property> <property> <name>hive.execution.engine</name> <value>spark</value> </property> <property> <name>hive.metastore.schema.verification</name> <value>false</value> </property> <property> <name>datanucleus.autoCreateSchema</name> <value>true</value> </property> <property> <name>datanucleus.autoCreateTables</name> <value>true</value> </property> <property> <name>datanucleus.autoCreateColumns</name> <value>true</value> </property> </configuration>
配置不细说了:
接着,修改lib下的包:
- 删除一个包
rm -rf log4j-slf4j-impl-2.6.2.jar
该包会导致日志系统冲突,予以删除即可,自动使用Hadoop下的jar包
2:增加mysql相关包:
mysql-connector-java-5.1.37.jar
正式使用之前,需要先进行元数据的存储:
/bin/hive --service metastore &元数据加载完毕,服务启动,万事大吉。