hadoop+hive配置

首先根据http://cp1985chenpeng.iteye.com/blog/1328541中配置好hadoop分布式。

然后在master上下载hive

安装hive很简单，首先解压缩。

然后配置环境变量以ubuntu为例

$sudo vim /etc/environment

添加

JAVA_HOME="/usr/lib/jvm/java-6-sun"
HADOOP_HOME="/home/hadoop/hadoop"
HBASE_HOME="/home/hadoop/hbase"
HIVE_HOME="/home/hadoop/hive"

在$HIVE_HOME/conf目录下，新建一个hive-site.xml,配置Hive元数据的存储方式（我用的是mysql存储）

注意下面配置的是hive默认的是mysql的hive数据库，用户名是hive，密码是hive。所以在进行下列操作前要用root登录mysql创建hive数据库并且分配给用户hive。

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

<property>
  <name>hive.aux.jars.path</name>
  <value>file:///home/hadoop/hive/lib/hive-hbase-handler-0.7.1-cdh3u2.jar,file:///home/hadoop/hive/lib/hbase-0.90.4-cdh3u2.jar,file:///home/hadoop/hive/lib/zookeeper-3.3.1.jar </value>
</property>

<property>
  <name>hbase.zookeeper.quorum</name>
  <value>hostname（zookeeper配置主机名）</value>
</property>

<property>

  <name>hive.metastore.local</name>

  <value>true</value>

</property>

<property>

  <name>javax.jdo.option.ConnectionURL</name>

  <value>jdbc:mysql://localhost:3306/hive</value>

</property>

<property>

  <name>javax.jdo.option.ConnectionDriverName</name>

  <value>com.mysql.jdbc.Driver</value>

</property>

<property>

  <name>javax.jdo.option.ConnectionUserName</name>

  <value>hive</value>

</property>

<property>

  <name>javax.jdo.option.ConnectionPassword</name>

  <value>hive</value>

</property>

<property>

  <name>datanucleus.fixedDatastore</name>

  <value>false</value>

</property>

</configuration>

 

在执行hive前，要把mysql-connector-java-5.1.18-bin.jar加到${HIVE_HOME}/lib中。

到此hive安装完成

$HIVE_HOME/bin/hive

 

hive> CREATE TABLE temp (info INT); 
OK 
Time taken: 0.251 seconds 

hive> CREATE TABLE test(content STRING);

OK 
Time taken: 0.251 seconds

hive> SHOW TABLES;

OK
temp
test
Time taken: 3.612 seconds

 

然后登录mysql验证

mysql> show tables;
+-----------------+
| Tables_in_hive  |
+-----------------+
| BUCKETING_COLS  |
| COLUMNS         |
| DATABASE_PARAMS |
| DBS             |
| PARTITION_KEYS  |
| SDS             |
| SD_PARAMS       |
| SEQUENCE_TABLE  |
| SERDES          |
| SERDE_PARAMS    |
| SORT_COLS       |
| TABLE_PARAMS    |
| TBLS            |
+-----------------+
13 rows in set (0.00 sec)

 

mysql> select * from COLUMNS;
+-------+---------+-------------+-----------+-------------+
| SD_ID | COMMENT | COLUMN_NAME | TYPE_NAME | INTEGER_IDX |
+-------+---------+-------------+-----------+-------------+
|     1 | NULL    | info        | int       |           0 |
|     2 | NULL    | content     | string    |           0 |
+-------+---------+-------------+-----------+-------------+
2 rows in set (0.04 sec)

 

到此hive配置成功！