一、Hive配置
（一）、简介
一般的公司都会有自己的数据仓库，而大多数都选择的Hive数据仓库，总所周知hive默认使用MapReduce来进行数据操作，MapReduce在计算过程中会涉及数量巨大的网络传输，这需要耗费大量的时间，在计算过程中会反复读写磁盘，极其耗时，因此使用spark来计算可以提高效率，但是之前有很多数据都是通过hive来操作，好在spark可以无缝集成hive，使用hive中的数据。
（二）、Hive存储Metastore的三种方式
hive中通过使用Metastore来存储所创建的数据库表等信息，而元数据是保存在数据库中，如Mysql、derBy等
Metastore可以作为客户端读取hive数据的桥梁，也就是客户端连接上Metastore服务，然后Metastore服务再去连接Mysql、DerBy等数据库来存取元数据，通过Metastore服务可以多个客户端同时进行连接，而且客户端可以不用知道数据库的用户名和密码，比直接获取数据库更加安全。
Metastore有三种方式：内嵌DerBy方式、Local方式、remote方式。
1.内嵌DerBy方式
这种方式是hive的默认方式，配置简单，但是一次只能连接一个客户端，也就是当你你启动一个hive服务会内嵌一个metastore服务，如果再去启动一个便又会内嵌一个metastore服务，并不是说你的客户端只能启动一个hive，是能启动多个，但是每个都有metastore，浪费资源。这种方式多用于测试数据，生产环境上不建议使用。
执行初始化命令：schematool -dbType derby -initSchema
查看初始化后的信息： schematool -dbType derby -info
2.Local方式
这种方式与内嵌的区别就是不再使用DerBy来存储介质，而是使用如Mysql数据库来保存，在这种模式下hive与Metastore服务运行在同一个进程中，mysql可以与hive在同一机器上也可以在其他机器上，这种方式可以多个用户连接到同一个数据库上，也就是用户通过Mysql用户密码来进行访问，hive-site.xml配置如下：
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://mini2:3306/hive?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
<description>username to use against metastore database</description>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456you</value>
<description>password to use against metastore database</description>
</property>
3.remote方式
这种方式中hive服务与metastore不在同一进程中，可以是不同机器也可以是相同机器，通过hive.metastore.uris指定metastore服务器URL，同时需要单独启动metastore服务，每个客户端在配置文件中配置连接到metastore服务，客户端通过beeline来连接，这种方式下不需要知道数据库的密码。
如果单单是连接远程mysql不能称之为远程方式，需要单独启动metastore服务，配置如下：
<property>
<name>hive.metastore.uris</name>
<value>thrift://192.168.1.188:9083</value>
</property>
metastore服务启动命令如下：
hive --service metastore &
如果要在spark中集成hive，三种方式都需要将hive-site.xml拷贝至spark/conf目录下，如果涉及到数据库操作，还需要将数据库驱动包拷贝到lib中，或者在执行的时候同–jars指定
二、Spark服务启动
（一）、直接运行spark-sql或者spark-shell方式
这种方式相当于每执行一次命令就会起一个spark任务，即spark-shell、spark-sql都是一个spark application
（二）、thriftserver
thriftserver， 不管你启动多少个客户端(beeline/code)，永远都是一个spark application解决了一个数据共享的问题，多个客户端可以共享数据；启动命令如下：
./start-thriftserver.sh \
--master local[2] \
--jars ~/software/mysql-connector-java-5.1.27-bin.jar \
--hiveconf hive.server2.thrift.port=14000
beeline连接指令如下，其中的端口是thriftserver指定的端口，默认为10000
beeline -u jdbc:hive2://localhost:14000 -n hadoop