mac 配置hadoop2.9.0+hive-2.3.3

1.安装jdk

2.安装hadoop2.9.0;

3.安装hive-2.3.3；

（一）配置JDK环境

首先是安装jdk,下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html（注意一点，jdk不要选择最新版本，一般最新版本在配置Hadoop和hive时会遇到很多莫名的错误）；

直接默认安装，终端输入：/usr/libexec/java_home -v 来查询JDK的安装路径。

配置环境变量：vim ~/.bash_profile

JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_40.jdk/Contents/Home
PATH=$JAVA_HOME/bin:$PATH:.
CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:.
export JAVA_HOME
export PATH

export CLASSPATH

编辑好，esc键，：wq保存退出。

source ～/.bash_profile (刷新环境变量)

配置好JDK环境，进行安装Hadoop

（二）本文采用Hadoop-2.9.0版本

注意：Hadoop同样不要选择最新版本进行安装，容易出错。

1）下载Hadoop: http://hadoop.apache.org/releases.html

2）安装Hadoop，配置环境。

拷贝Hadoop到选择合适目录位置。

1>进入 hadoop-env.sh文件

exportJAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_40.jdk/Contents/Home （JAVA_HOME路径，一般安装的路径就是这个，注意更换JDK版本）

export HADOOP_HEAPSIZE=2000

exportHADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK-Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

2>配置NameNode主机名与端口

进入 core-site.xml文件

<name>hadoop.tmp.dir</name>

<value>/Users/*****/hadoop-2.9.0/tmp/hadoop-${user.name}</value> 注***为自己用户名

<description>A base for other temporary directories.</description>

</property>

<name>fs.default.name</name>

<value>hdfs://localhost:8000</value>

</property>

</configuration>

3>配置HDFS的默认参数副本数

进入hdfs-site.xml文件

<name>dfs.replication</name>

</property>

</configuration>

4>配置JobTracker主机名与端口

进入mapred-site.xml文件

<name>mapred.job.tracker</name>

<value>hdfs://localhost:9000</value>

</property>

<name>mapred.tasktracker.map.tasks.maximum</name>

</property>

<name>mapred.tasktracker.reduce.tasks.maximum</name>

</property>

</configuration>

注：如果mapred-site.xml文件不存在，需要自己创建（复制mapred-site.xml.template文件对后缀名进行修改）

5>进入yarn-site.xml文件

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

6>格式化文件系统:（注意如果不能运行，在terminal里指定bin的目录）

$ bin/hdfs namenode -format (指定其安装目录的路径)

7>启动NameNode和DataNode的守护进程。
$ sbin/start-dfs.sh

8>启动ResourceManager和NodeManager的守护进程。
$ sbin/start-yarn.sh

9>验证hadoop

打开http://localhost:50070,进入hdfs管理页面

打开http://localhost:8088,进入hadoop进程管理页面

验证Hadoop之后进行Hive安装。

（三）安装hive-2.3.3

安装hive-2.3.3之前首先需要安装mysql。

1）安装mysql，先去mySql官网http://dev.mysql.com/downloads/mysql/下载安装包

按照提示界面一路安装即可，此处注意：在安装结束时，可能会弹出对话框，告知你默认的访问数据库的用户名和密码。第一次登陆时，需要用此用户名和密码登陆，否则会出现无法登陆的问题。
1>修改用户密码：

a. 用刚才的用户名和密码登陆mysql：mysql -u 用户名 -p 密码

b.#第一条命令，修改密码

UPDATE user SET password=PASSWORD('新的密码') WHERE user='你登录的用户名';

#第二条命令，使改动立即生效

FLUSH PRIVILEGES;

2)安装hive-2.3.3

1>下载Hive安装包（同样不要下载最新安装包）

去官网https://hive.apache.org/downloads.html下载合适的安装包版本，将安装包移动至：Hadoop 目录下，此目录是本机安装hadoop的目录。移动至此处后，解压缩，并将解压后的文件名改为hive，方便配置。

2>配置系统环境变量

vim ~/.bash_profile

export HIVE_HOME=/usr/hadoop/hadoop-2.9.0/hive(注：按自己路径修改)

export PATH=$PATH:$HIVE_HOME/bin:$HIVE_HOME/conf

退出保存后（esc之后 :wq），在终端输入，使环境变量立即生效：source ~/.bash_profile

3>修改Hive配置文档：

a. 进入/usr/hadoop/hadoop-2.9.0/hive/conf，新建文件hive-site.xml

cp hive-env.sh.template hive-env.sh

cp hive-default.xml.template hive-default.xml

cp hive-site.xml.template hive-site.xml

cp hive-log4j.properties.template hive-log4j.properties

cp hive-exec-log4j.properties.template hive-exec-log4j.properties

b. 添加hive-site.xml内容：

<configuration>
    <property>
        <name>hive.metastore.local</name>
        <value>true</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root</value>
    </property>
</configuration>

c. 修改hive-env.sh内容：

HADOOP_HOME=/usr/hadoop/hadoop-2.9.0

export HIVE_CONF_DIR=/usr/hadoop/hadoop-2.9.0/hive/conf

4>向/usr/hadoop/hadoop-2.9.0/hive/lib中添加mySql连接库：
a. 去网站http://dev.mysql.com/downloads/connector/j/下载mySql-connector包(选择与mysql版本一致的jar，不然出现错误)。

b. 将下好的包解压缩，如我解压缩后的文件夹为mysql-connector-java-5.1.38，将此文件夹下mysql-connector-java-8.0.11-bin.jar

复制到/usr/hadoop/hadoop-2.9.0/hive/lib下。

5>启动hive

1. 如果是第一次启动Hive，则需要先执行如下初始化命令：

schematool -dbType mysql -initSchema

2. 启动Hive:

hive

完成基本的环境配置！

（后续更新将安装过程中遇到的一些bug及解决方案进行编写）

mac 配置hadoop2.9.0+hive-2.3.3

猜你喜欢