java连接Hbase操作数据库的全过程---搭建伪分布式hadoop环境

1.环境准备

1.centos7+jdk8.0

安装环境前先来了解下hbase与jdk和hadoop的版本兼容性问题:http://hbase.apache.org/book.html#basic.prerequisites,http://hbase.apache.org/book.html#hadoop

本文选择hadoop-2.6.5.tar.gzhbase-2.0.5-bin.tar.gz进行演示。可以到官网自行选择版本。

开始前我们进行hosts文件配置,指定一个服务器名指向虚拟机ip:

修改hosts后,重启服务器!!!!
配置ssh免密登录:

1.SSH设置和密钥生成

$ ssh-keygen -t rsa

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ chmod 0600 ~/.ssh/authorized_keys

一路回车即可。

2.验证ssh免密设置:

[root@localhost /]# ssh localhost
Last login: Thu May  9 09:45:00 2019 from localhost
[root@localhost ~]#

2.安装hadoop(伪分布式环境)

1. tar -zxvf hadoop-2.6.5.tar.gz解压。

2.mv hadoop-2.6.5 hadoop将hadoop文件夹名称重命名下,方便后面使用。

3.配置hadoop环境变量:

vi ~/.bashrc  在文件末尾加上下面几行:

export HADOOP_HOME=/usr/local/javaworkspace/hadoop

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

export HADOOP_INSTALL=$HADOOP_HOME

 source ~/.bashrc 使配置生效。

3.配置几个配置文件:配置都用hbasehost服务地址,这个在后面启动hbase那里很重要。

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hbasehost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration> 
    <property> 
        <name>dfs.replication</name> 
        <value>1</value> 
    </property> 
</configuration>

配置完后,对hdfs节点进行格式化:

 bin/hdfs namenode -format

格式化正常可看到如下图:

启动hadoop的hdfs:

启动前先配置先给hadoop指定JAVA_HOME:

vi etc/hadoop/hadoop-env.sh

修改:export JAVA_HOME=/usr/java/jdk1.8.0

配置好后启动hadoop:

start-dfs.sh

jps可查看启动的进程:

启动hdfs可能会有个警告"util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable",解决方案:在hadoop-env.sh中设置:export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"  。

重新启动hadoop:stop-dfs.sh   start-dfs.sh

浏览器访问 http://hbasehost:50070 可以看到下面页面:

接下来配置YARN:

 cp mapred-site.xml.template mapred-site.xml

etc/hadoop/mapred-site.xml:

<configuration> 
    <property> 
        <name>mapreduce.framework.name</name> 
        <value>yarn</value> 
    </property> 
</configuration>

etc/hadoop/yarn-site.xml:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

配置好后,启动yarn:start-yarn.sh

浏览器访问:http://hbasehost:8088

至此hadoop伪分布式环境搭建完成。

hbase环境搭建:https://blog.csdn.net/qq1049545450/article/details/90023386

java api操作hbase:https://blog.csdn.net/qq1049545450/article/details/90025401

Hbase 下载地址:https://pan.baidu.com/s/102IcdzaajGUiJbqpf1gXWg 提取码:coh7

发布了41 篇原创文章 · 获赞 22 · 访问量 5万+

猜你喜欢

转载自blog.csdn.net/qq1049545450/article/details/90019159