首先谈一下关于hive和hbase的区别的疑问（完全不是一个东西）：
本质上来说hive和hbase没什么关系，虽然都是表，查数据等，但是他们根本就不是一个层面的东西
hive就是一个rapduce的一个包装，hive就是将编写的sql转换成mapreduce任务
而hbase是什么呢？可以理解为是hdfs的一个包装，本质是数据存储的，一个nosql数据库，部署与hdfs之上的，目的是克服hdfs在随机读写上的缺点
你非得问hive和hbase有什么区别，那就相当于问mapreduce和hdfs有什么区别，所有谈他们的区别完全没有任何的意义
引入Hive原因：
– 对存在HDFS上的文件或HBase中的表进行查询时，是要手工写一堆MapReduce代码
– 对于统计任务，只能由动MapReduce的程序员才能搞定
Hive基于一个统一的查询分析层，通过SQL语句的方式对HDFS上的数据进行查询、统计和分析
由此可以看出来hive适合做数据查询、统计和分析，使用SQL语句（但是，hive的sql并不是一个标准的sql，只是类似于一个标准的sql，但不等价于一个标准的sql）对HDFS进行查询（mapreduce也是对HDFS进行查询等工作，所以hive本身并不会存储数据）
Hive到底是什么？
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为mapreduce任务进行运行。
Hive中的表是纯逻辑表，就只是表的定义等，即表的元数据。本质就是Hadoop的目录/文件，达到了元数据与数据存储分离的目的
Hive本身不存储数据，它完全依赖HDFS和MapReduce
Hive的内容是读多写少，不支持对数据的改写和删除（0.14版本以后支持更新，但是得开启，默认关闭。由此可见hive不适合更新，因为hdfs也不适合修改！hdfs数据要修改，要么就是删除，要么就是追加，考虑到性能，大数据不建议频繁修改和删除）
Hive中没有定义专门的数据格式，由用户指定，需要指定三个属性：
– 列分隔符 ： 空格， \t ， \001
– 行分隔符： \n
– 读取文件数据的方法： TextFile ，SquenceFile，RCFile
TextFile（优点：可读性好。缺点：占内存空间，磁盘开销大）--------python，Streaming开发一般是这种格式
SquenceFile（二进制，是hadoop提供的一种二进制文件,<key,value>形式序列化到文件中，Java Writeable接口进行序列化和反序列化）------java开发一般是这种格式
RCFile（是Hive专门推出的，一种面向列的数据格式）---------实际上在mapreduce的map阶段远程拷贝的时候，本质是拷贝block，但是block依然是整个的数据，block没办法具体区分哪一个列，读过来就是全读，所以性能并不一定比TextFile好
为什么选择hive？
看一个wordcount
select word,count(*) form (select exploed(sentence, ' ') as word form article) t group by word
一行sql实现了一个单词计数，大量节省开发和学习成本，而且便于修改
Hive 中 的 sql 与传统 sql 区 别：
函数：
UDF:直接应用于select语句，通常查询的时候，需要对字段做一些格式化处理（例如：大小写转换，比如表里都是小写，但是就想显示全是大写）
特点：一进一出，一对一的关系
UDAF:多对一的关系，通常用于group by阶段
UDTP:一对多
读时模式：只有hive读的时候才会检查，解析字段和schema（数据结构的表达）
优点：load data非常迅速，因为在写的过程中不需要解析数据
写时模式：
优点：读的时候会得到优化
缺点：写的慢，需要建立一些索引，压缩，数据一致性，字段检查等...
与传统关系数据特点比较：
hive和关系数据库存储文件的系统不同，hive使用的是hadoop的HDFS（hadoop的分布式文件系统），关系数据库则是服务器本地的文件系统
hive使用的计算模型是mapreduce，而关系数据库则是自己设计的计算模型
关系数据库都是为实时查询的业务进行设计的，而hive则是为海量数据做数据挖掘设计的，实时性很差
Hive很容易扩展自己的存储能力和计算能力，这个是继承hadoop的，而关系数据库在这个方面要比数据库差很多
Hive体系架构：
分为三个部分：
用户接口：
CLI：client（Hive 的客户端，用户连接至 Hive Server，一般是linux下）进行交互执行sql，直接与Driver进行交互。
JDBC：Hive提供JDBC驱动，作为JAVA的API:JDBC是通过Thrift Server来接入，然后发给Driver
GUI：通过浏览器访问 Hive
语句转换（Driver------->hive本身并不会生成mapreduce，而是通过一个执行计划来执行mapreduce（xml----->mapper，reducer模块））：
解析器：生成抽象语法树
语法分析器：验证查询语句
逻辑计划生成器（包括优化器）：生成操作符树
查询计划生成器：转换为map-reduce任务
元数据：
metastore------>是一个独立的关系型数据库，默认的数据库是derby（单用户常用）。真正的生产都是远程服务模式----->mysql
数据存储：
Hive数据以文件形式存储在HDFS的指定目录下
Hive语句生成查询计划，由MapReduce调用执行
Hive数据管理：
hive的表本质就是Hadoop的目录/文件
– hive默认表存放路径一般都是在你工作目录的hive目录里面，按表名做文件夹分开，如果你有分区表的话，分区值是子文件夹，可以直接在其它的M/R job里直接应用这部分数据
Hive有四种数据模型：
数据表：
Table：内部表
External Table：外部表
分区表：
Partition
Bucket
Table：
和传统数据库概念基本一致，都是一个数据表，但是每一个table在hive中都会有一个目录来存取数据
例如： 有表user ，因为hive不存储数据，都是在hdfs上，所以路径就在/wherehorse/user/（注意：user不是一个文件，是一个目录）
Partition：
相当于分桶
好处：通常查询的时候会扫描整个表的内容，那就会消耗很多的时间
例如：select xxx form table where date='2019-03-07' limit 100 通常查询时候都会有where条件，但是这样查询也会扫描8,9....等等的数据，但是8,9号的数据对我们要查的来说完全没有意义，我们只需要7号的数据
引入partition能大大优化性能，分区表需要在创建表的时候引入一个partition的分区的空间，一个表可以有一个或多个分区，然后以单独的文件夹的形式存在表的文件夹下面（wherehorse/user/partition）
通常什么字段能做为分区字段呢？
不是所有的字段都适合做分区
1.通常这个字段是经常在where条件中做过滤用的
2.取值范围有点集合的字段（假设用户名做分区，那将会有无数个小文件，然而小文件会占用namenode内存区域，关于hdfs为什么不适合大量存储小文件，如果有时间会写hdfs的内容）
假设要对一天的数据做统计：
那就按照天做分区 day=20190307 路径位置/wherehorse/table/20190307/
查询的时候where条件就成了一个文件夹了，然后对里面的内容做查询就可以了，不用查询其他的天数了
当多个字段做分区的时候，会按照笛卡尔迪的形式 action=insight， day=20190307 路径/wherehorse/table/insight/20190307
Bucket：
开启bucket：set hive.enforce.bucketing = true
Hive会针对某一个列进行桶的组织，通常对列值做hash
假设：想存userid，然后这张表太大了，但是又想存数据，又不想突破一张表的的上限
分库：把一张表拆分成多个表
例如：分32库，userid%32=桶号
表名：table
分库后表名：table_0,table_1,table_2，table_3......table_32
每张表都不会重复，因为按照userid做的分桶
路径/wherehorse/table/partition/part-00000
bucket有什么作用呢？
1.优化查询
2.方便采样
假设两张表，id相同，分区相同，当做join的时候，只需要join目标id相同的分桶就可以，其他的桶不需要理会，性能大大优化
两个分区表做join，他会自动激活map端的 （map-side Join）
Hive的内部表和外部表：
内部表：create table
外部表：create external table
内部表和外部表的区别：
内部表删除，表结构和数据都删除
外部表删除，只删除表结构，不删除数据（删除外部表怎么恢复？重新创建表）
- 在导入数据到外部表，数据并没有移动到自己的数据仓库目录下，也就是说外部表中的数据并不是由它自己来管理的！而表则不一样；
- 在删除表的时候，Hive将会把属于表的元数据和数据全部删掉；而删除外部表的时候，Hive仅仅删除外部表的元数据，数据是不会删除的！
Hive的数据类型：
基础类型：
• TINYINT
• SMALLINT
• INT
• BIGINT
• BOOLEAN
• FLOAT
• DOUBLE
• STRING
• BINARY（Hive 0.8.0以上才可用）
• TIMESTAMP（Hive 0.8.0以上才可用）
复合类型：
• Arrays：ARRAY<data_type>
• Maps:MAP<primitive_type, data_type>
• Structs:STRUCT<col_name: data_type[COMMENT col_comment],……>
• Union:UNIONTYPE<data_type, data_type,……>
复合类型有什么用？