0. 上传完整的jar文件到hive/lib中
- 删除hive/lib下所有文件
- 解压上传以下jar到该目录
https://download.csdn.net/download/wxfghy/10497557
1. 修改hive-site.xml
<name>hbase.zookeeper.quorum</name>
<value>ghym,ghys1,ghys2</value>#自定义的zookeeper集群电脑名与hbase建立联系
<name>hive.zookeeper.quorum</name>
<value>ping1,ping2,ping4</value>#自定义的zookeeper集群电脑名与hive建立联系
<name>hive.aux.jars.path</name>#将jar文件的位置指定为本地目录,否则默认在HDFS上寻找jar
<value>file:
2. 修改hive-env.sh
export HADOOP_HOME=/home/hadoop/hadoop-2.9.0
export HBASE_HOME=/home/hadoop/hbase-1.2.6
export HIVE_CONF_DIR=/home/hadoop/hive-2.3.3/conf
3. 在hive和hbase中分别创建相关联的表并通过hive向hbase表中加载数据
完整语句
CREATE TABLE hive表名(key int, value1 string, value2 int,...)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
"hbase.columns.mapping" = ":key,a:b,a:c,..."
)TBLPROPERTIES(
"hbase.table.name"="hbase表名",
"hbase.mapred.output.outputtable"="hbase表名"
);
insert overwrite table hive表名 select eno,ename,... from emp;
关键字
- STORED BY 表示使用hive配置中的类完成向hbase中存储数据
- WITH SERDEPROPERTIES 表示创建hive临时对应hbase表的列族名称
- TBLPROPERTIES 表示对应hbase中表的名称
- hbase.mapred.output.outputtable表示mapreduce操作向hbase表中输出
4. 在hive中创建外部表映射hbase中已存在的表
完成语句
CREATE EXTERNAL TABLE hive表名(key int, value1 string, value2 int,...)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES (
"hbase.columns.mapping" = ":key,a:b,a:c,..."
)TBLPROPERTIES(
"hbase.table.name"="hbase表名",
"hbase.mapred.output.outputtable"="hbase表名"
);
特点
- 建表或映射表的时候如果没有指定:key则第一个列默认就是行键
- HBase对应的Hive表中没有时间戳概念,默认返回的就是最新版本的值
- 由于HBase中没有数据类型信息,所以在存储数据的时候都转化为String类型
5. 特别注意
- 对HBase表进行预分区,增大其MapReduce作业的并行度
- 合理的设计rowkey使其尽可能的分布在预先分区好的Region上
- 通过set hbase.client.scanner.caching设置合理的扫描缓存