hadoop-1 hive配置文档

** 安装JDK
$ su - # tom在/opt内无创建目录的权限
# mkdir /opt/modules # 用于软件安装目录
# mkdir /opt/softwares # 用于软件下载目录

# chown tom:tom /opt/modules/ # 授权用户:组
# chown tom:tom /opt/softwares/

# su - tom
$ tar zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/ --选项-C 表示解压的目标路径

# 设置JAVA_HOME和PATH
# vi /etc/profile   (root用户)
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile 生效文件
PS:
***卸载其他软件捆绑安装的JDK，若是没有则无需卸载
# rpm -qa #查看所有已安装的rpm包
# rpm -qa | grep -i java --'-i'：忽略大小写
# 卸载rpm软件包
# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.x86_64
Hadoop伪分布式环境部署-Hadoop部分
-------------------------------------------------------------------------------------------------------------
   1.    解压Hadoop到指定目录下
       tar -zxvf hadoop-2.5.0.tar.gz -C /opt/modules/


   2.    修改hadoop/etc/hadoop/hadoop-env.sh文件
       修改hadoop/etc/hadoop/mapred-env.sh文件
       修改hadoop/etc/hadoop/yarn-env.sh文件
       指定Java安装路径
       export JAVA_HOME=/opt/modules/jdk1.7.0_67

   3.   注意：hadoop中的四个核心模块对应四个默认配置文件
       指定默认的文件系统为HDFS，文件系统的访问入口，namenode所在的机器
       9000端口是早期Hadoop 1.x使用的，现在Hadoop 2.x使用的是8020
       端口号用于节点直接内部通信，使用RPC通信机制

   4.   修改hadoop/etc/hadoop/core-site.xml文件

       <property>
               <name>fs.defaultFS</name>
               <value>hdfs://hostname:8020</value>
       </property>

       <property>
           <name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.7.3/data/tmp</value>
       </property>

   5.   修改hadoop/etc/hadoop/hdfs-site.xml文件

       <property>
               <name>dfs.replication</name>
               <value>1</value>
       </property>

   6.   修改hadoop/etc/hadoop/slaves文件

       hostname 比如：bd1.ibeifeng.com

7. 格式化namenode
bin/hdfs namenode -format

   8.   启动命令
       sbin/hadoop-daemon.sh start namenode
       sbin/hadoop-daemon.sh start datanode
   yarn的配置
-------------------------------------------------------------------------------------------------------------
   1.   首先找到hadoop/etc/hadoop/mapred-site.xml.template文件，重名为mapred-site.xml
       修改hadoop/etc/hadoop/mapred-site.xml文件


       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>

   2.   修改hadoop/etc/hadoop/yarn-site.xml文件


       <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
       </property>

   3.
       <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>hostname</value>
       </property>

   4.   启动yarn
       sbin/yarn-daemon.sh start resourcemanager
       sbin/yarn-daemon.sh start nodemanager
------------------------------------------------------------------------------------------------------
安装mysql
   $ su -
   # yum -y install mysql --安装mysql客户端、常用命令
   # yum -y install mysql-server --mysql服务
   # yum -y install mysql-devel --mysql develop扩展包
   ***以上可以合并为一句，-y表示所有提问回答都为yes
   # yum -y install mysql mysql-server mysql-devel

   # rpm -qa|grep mysql --查看安装的mysql
   # rpm -ql mysql-server-5.1.73-7.el6.x86_64 --查看安装位置
   # rpm -e --nodeps mysql-server-5.1.73-7.el6.x86_64 --卸载，nodeps:不检查依赖

   # service mysqld start --启动mysql服务
   # chkconfig mysqld on --设置开机启动
   # /usr/bin/mysqladmin -uroot password 'root'   --初始化密码，只能执行一次
   给用户授权：
   # mysql -uroot -proot
   *** grant 权限 on 数据库对象(数据库.表) to 用户
   mysql> grant all on *.* to root@'blue01.mydomain' identified by 'root';
   mysql> flush privileges; #刷新授权表，可以不执行
   mysql> set password for root@localhost = password('root'); --修改密码
   mysql> show databases;

   ** mysql数据库默认只允许root用户通过localhost(127.0.0.1)来登录使用
   ** 想要使用Windows上的Navicat登录，需要授权
   ** mysql> grant all on *.* to root@'192.168.122.1' identified by 'root';
------------------------------------------------------------------------------------------------------
安装Hive

   $ tar zxf /opt/softwares/apache-hive-0.13.1-bin.tar.gz

   ** 在conf/目录：
   $ cp -a hive-env.sh.template hive-env.sh --重命名，-a连同原来属性一起复制
   $ cp -a hive-default.xml.template hive-site.xml

   5、修改hive-env.sh
   JAVA_HOME=/opt/modules/jdk1.7.0_67
   HADOOP_HOME=/opt/modules/hadoop-2.5.0
   export HIVE_CONF_DIR=/opt/modules/apache-hive-0.13.1-bin/conf

   6、配置hive-site.xml，注意：用户名和密码不可以有空格
       <property>
       <name>javax.jdo.option.ConnectionURL</name>
       <value>jdbc:mysql://blue01.mydomain:3306/metastore?createDatabaseIfNotExist=true</value>
       </property>
       <property>
       <name>javax.jdo.option.ConnectionDriverName</name>
       <value>com.mysql.jdbc.Driver</value>
       </property>
       <property>
       <name>javax.jdo.option.ConnectionUserName</name>
       <value>root</value>
       </property>
       <property>
       <name>javax.jdo.option.ConnectionPassword</name>
       <value>root</value>
       </property>

   7、拷贝mysql驱动到lib/
   ** 若是jar已解压，则不必执行这步：$ tar zxf mysql-connector-java-5.1.27.tar.gz
   $ cp mysql-connector-java-5.1.27-bin.jar /opt/modules/apache-hive-0.13.1-bin/lib/

   8、进入Hadoop目录，修改目录权限
   ** /tmp存放临时文件
   $ bin/hadoop fs -chmod g+w /tmp #给用户组加上写的权限

   ** /user/hive/warehouse为Hive存放数据的目录
   $ bin/hdfs dfs -mkdir -p /user/hive/warehouse
   $ bin/hadoop fs -chmod g+w /user/hive/warehouse

   9、启动客户端使用Hive
   $ bin/hive

hadoop-1 hive配置文档

猜你喜欢