당신이 알고있는 경우 자세한 그것이이기 때문에, 우리는 하이브, 하이브에서 다음과 같은 기본 말하기를 설치하는 방법을 알 수 없다, 다음, 설치 및 구성을 개최지하시기 바랍니다
하이브는 무엇인가
하이브 설치 및 구성
하이브 테스트
하이브
여기서 잠깐, 조금 도움이되는 좋은 구성 하이브를 설명합니다. 하둡 하이브는 당신이 하이브 쓸모없는 잘못을 구축 할 경우에만 물론,에 내장되어 있습니다. 데이터를 관리하고 새로운 기술을 배울 필요하기 위하여 경우에 모두가 현실에서, 맵리 듀스 DBA가 이해할 수있는 작동하기 때문에 DBA 지향 시간에 맵리 듀스 통화 하둡은 다음 문제가 나타납니다 경우, 단순히 말했다 생활, 회사는 또한 더 기술이 오는 돈을 지출 할 필요가있다.
농담, 우리는 하둡 데이터 및 컴퓨팅 기술의 홍보를 저장하고 데이터베이스에 링크 된 데이터의 분야에 속하는, 그래서 하둡 및 DBA 훅이 기초 감각을 만드는 것입니다 DBA는 적절한 기술을 만들 필요가있다.
그것은 하둡에서 데이터 관리를 구현하기 위해 SQL 문 (HiveQL)를 입력 할 하이브이 하이브를 달성했다. 하이브는 데이터웨어 하우스의 범주에 속하고, 결국 데이터베이스와 데이터웨어 하우스가 여기에 간략하게 설명, 차이가 무엇 : 데이터베이스가 OLTP (온라인 트랜잭션 처리), 데이터웨어 하우징 초점 OLAP (온라인 분석 처리)에 초점을 맞추고, 즉 예를 들어, 말을하는 것입니다, MySQL은 베이스 클래스와 반대로, 단시간에 데이터 처리에 더 집중된다.
아니 하이브 : 사용자 .....-> 맵리 듀스 ...-> 하둡 데이터 (맵리 듀스해야 할 수도 있습니다)
이 하이브 : 사용자 ...-> HQL (SQL) -> 하이브 ...-> 맵리 듀스 ...-> 하둡 데이터 (SQL 문이하기 만합니다)
하이브 설치 및 구성
설치
하나 : hive-- 다운로드 주소 : http://mirror.bit.edu.cn/apache/hive/
예로서, 여기에서는 2.1.1 하이브로 도시 :
/ usr / 지방을 추출 하이브 :
[루트 @ S100 로컬] # 타르 -zxvf 아파치 하이브 2.1.1-bin.tar.gz -C / usr / 지방 /
하이브 파일로 파일의 이름을 바꿉니다 :
[루트 @ S100 지역] # MV 아파치 하이브-2.1.1-빈 하이브
환경 변수의 / etc / 프로필을 수정합니다 :
[루트 @ S100 로컬] #에 VIM은 / etc / 프로필
1 # 하이브 2 수출 HIVE_HOME = / usr / 지방 / 하이브 3 수출 PATH = $의 PATH : $ HIVE_HOME은 / 빈
소스 /etc.profile을 수행합니다 :
실행 하이브 --version
[S100 지역 @ 루트] #의 하이브 --version
쇼의이 하이브 버전은 설치가 성공적으로 완료!
구성
[루트 @의 S100의 conf] #의 CD / usr / 지방 / 하이브 / conf의 /
하이브-site.xml 파일을 수정합니다 :
더있다, 우리는 템플릿을 복사 할 필요가 없습니다 :
[루트 @의 S100의 conf] #의 CP 하이브 - default.xml.template 하이브를 site.xml
[root@s100 conf]# vim hive-site.xml
1.配置hive-site.xml（第5点的后面有一个单独的hive-site.xml配置文件，这个如果有疑问可以用后面的配置文件，更容易明白）
主要是mysql的连接信息（在文本的最开始位置）
<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this work for additional information regarding copyright ownership. The ASF licenses this file to You under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an “AS IS” BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
–><configuration>
<!– WARNING!!! This file is auto generated for documentation purposes ONLY! –>
<!– WARNING!!! Any changes you make to this file will be ignored by Hive. –>
<!– WARNING!!! You must make your changes in hive-site.xml instead. –>
<!– Hive Execution Parameters –>
<span style="color: #008000;"><!--</span><span style="color: #008000;"> 插入一下代码 </span><span style="color: #008000;">--></span>
<span style="color: #0000ff;"><</span><span style="color: #800000;">property</span><span style="color: #0000ff;">></span>
<span style="color: #0000ff;"><</span><span style="color: #800000;">name</span><span style="color: #0000ff;">></span>javax.jdo.option.ConnectionUserName<span style="color: #0000ff;"></</span><span style="color: #800000;">name</span><span style="color: #0000ff;">>用户名（这4是新添加的，记住删除配置文件原有的哦！）</span>
<span style="color: #0000ff;"><</span><span style="color: #800000;">value</span><span style="color: #0000ff;">></span>root<span style="color: #0000ff;"></</span><span style="color: #800000;">value</span><span style="color: #0000ff;">></span>
<span style="color: #0000ff;"></</span><span style="color: #800000;">property</span><span style="color: #0000ff;">></span>
<span style="color: #0000ff;"><</span><span style="color: #800000;">property</span><span style="color: #0000ff;">></span>
<span style="color: #0000ff;"><</span><span style="color: #800000;">name</span><span style="color: #0000ff;">></span>javax.jdo.option.ConnectionPassword<span style="color: #0000ff;"></</span><span style="color: #800000;">name</span><span style="color: #0000ff;">>密码</span>
<span style="color: #0000ff;"><</span><span style="color: #800000;">value</span><span style="color: #0000ff;">></span>123456<span style="color: #0000ff;"></</span><span style="color: #800000;">value</span><span style="color: #0000ff;">></span>
<span style="color: #0000ff;"></</span><span style="color: #800000;">property</span><span style="color: #0000ff;">></span>
<property>
<name>javax.jdo.option.ConnectionURL</name>mysql
<value>jdbc:mysql://192.168.1.68:3306/hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>mysql驱动程序
<value>com.mysql.jdbc.Driver</value>
</property>
<!– 到此结束代码 –>
<property>
<name>hive.exec.script.wrapper</name>
<value/>
<description/>
</property>
2.复制mysql的驱动程序到hive/lib下面（这里已经拷贝好了）
[root@s100 lib]# ll mysql-connector-java-5.1.18-bin.jar -rw-r--r-- 1 root root 789885 1月 4 01:43 mysql-connector-java-5.1.18-bin.jar
3.在mysql中hive的schema（在此之前需要创建mysql下的hive数据库）
1 [root@s100 bin]# pwd 2 /usr/local/hive/bin 3 [root@s100 bin]# schematool -dbType mysql -initSchema
4.执行hive命令
[root@localhost hive]# hive
成功进入hive界面，hive配置完成
5.查询mysql（hive这个库是在 schematool -dbType mysql -initSchema 之前创建的！）
1 [root@localhost ~]# mysql -uroot -p123456 2 Welcome to the MySQL monitor. Commands end with ; or \g. 3 Your MySQL connection id is 10 4 Server version: 5.1.73 Source distribution 5 6 Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved. 7 8 Oracle is a registered trademark of Oracle Corporation and/or its 9 affiliates. Other names may be trademarks of their respective 10 owners. 11 12 Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. 13 14 mysql> use hive 15 Reading table information for completion of table and column names 16 You can turn off this feature to get a quicker startup with -A 17 18 Database changed 19 mysql> show tables; 20 +---------------------------+ 21 | Tables_in_hive | 22 +---------------------------+ 23 | AUX_TABLE | 24 | BUCKETING_COLS | 25 | CDS | 26 | COLUMNS_V2 | 27 | COMPACTION_QUEUE | 28 | COMPLETED_COMPACTIONS |
备注 （这里不计入正文不要重复配置hive-site.xml）
配置文件hive-site.xml
这里不得不说一下，如果你的 schematool -dbType mysql -initSchema 并没有执行成功怎么办，小博主昨天在这卡了一天，最后根据伟大的百度和hive官方文档，直接写了一个hive-site.xml配置文本：
<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hahive</value>（mysql地址localhost） </property><span style="color: #0000ff;"><</span><span style="color: #800000;">property</span><span style="color: #0000ff;">></span> <span style="color: #0000ff;"><</span><span style="color: #800000;">name</span><span style="color: #0000ff;">></span>javax.jdo.option.ConnectionDriverName<span style="color: #0000ff;"></</span><span style="color: #800000;">name</span><span style="color: #0000ff;">>（mysql的驱动）</span> <span style="color: #0000ff;"><</span><span style="color: #800000;">value</span><span style="color: #0000ff;">></span>com.mysql.jdbc.Driver<span style="color: #0000ff;"></</span><span style="color: #800000;">value</span><span style="color: #0000ff;">></span> <span style="color: #0000ff;"></</span><span style="color: #800000;">property</span><span style="color: #0000ff;">></span> <span style="color: #0000ff;"><</span><span style="color: #800000;">property</span><span style="color: #0000ff;">></span> <span style="color: #0000ff;"><</span><span style="color: #800000;">name</span><span style="color: #0000ff;">></span>javax.jdo.option.ConnectionUserName<span style="color: #0000ff;"></</span><span style="color: #800000;">name</span><span style="color: #0000ff;">>（用户名）</span> <span style="color: #0000ff;"><</span><span style="color: #800000;">value</span><span style="color: #0000ff;">></span>root<span style="color: #0000ff;"></</span><span style="color: #800000;">value</span><span style="color: #0000ff;">></span> <span style="color: #0000ff;"></</span><span style="color: #800000;">property</span><span style="color: #0000ff;">></span> <span style="color: #0000ff;"><</span><span style="color: #800000;">property</span><span style="color: #0000ff;">></span> <span style="color: #0000ff;"><</span><span style="color: #800000;">name</span><span style="color: #0000ff;">></span>javax.jdo.option.ConnectionPassword<span style="color: #0000ff;"></</span><span style="color: #800000;">name</span><span style="color: #0000ff;">>（密码）</span> <span style="color: #0000ff;"><</span><span style="color: #800000;">value</span><span style="color: #0000ff;">></span>123456<span style="color: #0000ff;"></</span><span style="color: #800000;">value</span><span style="color: #0000ff;">></span> <span style="color: #0000ff;"></</span><span style="color: #800000;">property</span><span style="color: #0000ff;">></span> <span style="color: #0000ff;"><</span><span style="color: #800000;">property</span><span style="color: #0000ff;">></span> <span style="color: #0000ff;"><</span><span style="color: #800000;">name</span><span style="color: #0000ff;">></span>hive.metastore.schema.verification<span style="color: #0000ff;"></</span><span style="color: #800000;">name</span><span style="color: #0000ff;">></span> <span style="color: #0000ff;"><</span><span style="color: #800000;">value</span><span style="color: #0000ff;">></span>false<span style="color: #0000ff;"></</span><span style="color: #800000;">value</span><span style="color: #0000ff;">></span> <span style="color: #0000ff;"></</span><span style="color: #800000;">property</span><span style="color: #0000ff;">></span>
</configuration>
那我们做这些事干什么的呢，下面小段测试大家感受一下
hive测试：
备注：这里是第二个配置文件的演示：所以数据库名称是hahive数据库！
1.需要知道现在的hadoop中的HDFS存了什么
[root@localhost conf]# hadoop fs -lsr /
2.进入hive并创建一个测试库和测试表
[root@localhost conf]# hive
创建库：
1 hive> create database hive_1; 2 OK 3 Time taken: 1.432 seconds
显示库：
1 hive> show databases; 2 OK 3 default 4 hive_1 5 Time taken: 1.25 seconds, Fetched: 2 row(s)
创建库成功！
3.查询一下HDFS有什么变化
多了一个库hive_1
娜莫喔们的mysql下的hahive库有什么变化
|
1
|
mysql> use hahive;
|
|
1
2
3
4
5
6
7
8
|
mysql>
select
*
from
DBS;
+-------+-----------------------+------------------------------------------------+---------+------------+------------+
| DB_ID | DESC | DB_LOCATION_URI | NAME | OWNER_NAME | OWNER_TYPE |
+-------+-----------------------+------------------------------------------------+---------+------------+------------+
| 1 | Default Hive database | hdfs:
//localhost/user/hive/warehouse | default | public | ROLE |
| 6 | NULL | hdfs:
//localhost/user/hive/warehouse/hive_1.db | hive_1 | root | USER |
+-------+-----------------------+------------------------------------------------+---------+------------+------------+
2 rows
in
set
(0.00 sec)
|
4.在hive_1下创建一个表hive_01
|
1
2
3
4
5
6
7
8
9
10
11
|
hive> use hive_1;
OK
Time taken: 0.754 seconds
hive> create table hive_01 (id
int
,name
string
);
OK
Time taken: 2.447 seconds
hive> show tables;
OK
hive_01 （表创建成功）
Time taken: 0.31 seconds, Fetched: 2 row(s)
hive>
|
HDFS下的情况：
mysql下：
|
1
2
3
4
5
6
7
|
mysql>
select
*
from
TBLS;
+--------+-------------+-------+------------------+-------+-----------+-------+----------+---------------+--------------------+--------------------+
| TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER | RETENTION | SD_ID | TBL_NAME | TBL_TYPE | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT |
+--------+-------------+-------+------------------+-------+-----------+-------+----------+---------------+--------------------+--------------------+
| 6 | 1514286051 | 6 | 0 | root | 0 | 6 | hive_01 | MANAGED_TABLE | NULL | NULL |
+--------+-------------+-------+------------------+-------+-----------+-------+----------+---------------+--------------------+--------------------+
2 rows
in
set
(0.00 sec)
|
娜莫在web端是什么样子的呢！
总的来说，hive其实就和mysql差不多呢！那么后面就不说了
最后，浏览别人博客的时候都会有版权声明，感觉好6的样子，小博主以后也写一段╭(╯^╰)╮
版权声明：
本文作者：魁·帝小仙
博文地址：http://www.cnblogs.com/dxxblog/p/8193967.html
欢迎对小博主的博文内容批评指点，如果问题，可评论或邮件联系（[email protected]）
欢迎转载，转载请在文章页面明显位置给出原文链接，谢谢