HIVE-元数据存储

HIVE-元数据存储

元数据（Meta Date），主要记录数据仓库中模型的定义、各层级间的映射关
系、监控数据仓库的数据状态及 ETL 的任务运行状态。一般会通过元数据资料库
（Metadata Repository）来统一地存储和管理元数据，其主要目的是使数据仓
库的设计、部署、操作和管理能达成协同和一致。

---

1. 元数据存储介质

根据元数据存储的介质不同，分为下面两个版本，其中 derby 属于内嵌模式,无需配置直接可用。实际生产环境中则使用 mysql 来进行元数据的存储。
(1) 内置 derby 版：
解压 hive 安装包 , bin/hive 启动即可使用 .
缺点：不同路径启动 hive，每一个 hive 拥有一套自己的元数据，无法共享
理解 : 在哪个目录下启动,就会在那个目录下生成 derby.log 和 metastore.db,只有在此目录下再次启动才可以继续使用上次的元数据库.
(2) mysql 版：
解压、修改hive配置文件
vi conf/hive-site.xml
配置 Mysql 元数据库信息

<!--数据库名hive-->
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
                <description>JDBC connect string for a JDBC metastore</description>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
                <description>Driver class name for a JDBC metastore</description>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
                <description>username to use against metastore database</description>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
                <description>password to use against metastore database</description>
        </property>
</configuration>

将mysql的连接jar包拷贝到$HIVE_HOME/lib目录下

启动 bin/hive 后mysql会生成hive数据库及相关表

---

2 元数据表(持续探索)
(1)DBS database元数据表
(2)SDS table映射表 可查看分区
(3)TBLS table元数据表