基于HA的Hadoop2.7.1完全分布式集群搭建

一、节点的分布

下面关于Hadoop的文章您也可能喜欢,不妨看看:

二、JDK和Hadoop的下载安装

linux系统的java jdk和hadoop的解压和安装,可以百度,或者谷歌,本文省略,不过有一点需要提下,注意linux和hadoop的版本的匹配,hadoop的官网的2.5版本和之前的都是32位的,之后的是64位的(查看hadoop版本:进入hadoop-2.x.x/lib/native中输入如下命令:file libhadoop.so.1.0.0即可查看是32位的还是64位的,如果版本和系统不匹配,则需要下载源码进行编译,不过话说回来,随着内存的扩大,现在一般系统都选择64位的。)

三、hadoop的HA的搭建

1、zookeeper的下载
在zookeeper的官网下在3.4.6的最新稳定版本。
2、linux前期准备
在搭建之前,介绍下linux的下的ssh免密码登录,和防火墙的关闭,
Ubuntu 的防火墙:ufw disable
centOS的防火墙:centOS7是 systemctl stop firewalld.service(之前的是iptables,笔者刚搭建的时候没注意到,后面MapReduce各种连接错误,都快崩溃了,希望少走弯路,保持学习的热情。)
ssh 的免密码登录:在node1上:
①没有ssh安装ssh,可以如下命令,如果linux提示错误,按照提示的错误,更新下出错的那个版本在安装sshserver即可。
$ sudo apt-get install ssh

$ sudo apt-get install rsync

②生成公钥和私钥

$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
之后可以在node1用ssh localhost登录,发现不用输入密码了。
(补充一点,在每台linux上把每台主机的主机名依次修改位node1到node5,/etc/hostname中)
③ 把node1的公钥拷贝到node2~node5中,实现node1到其他服务器的ssh无密码登录。
scp -r ~/.ssh/authorized_keys root@node2:~/.ssh/
把node2依次改为node3到node5,即可。
在node1中登录node2:ssh node2,发现不需要密码就登录了(第一次登录提示yes or no ?输入yes即可),主机名为node2了,输入exit即可退出回到node1的界面,再登录node3到node5即可。
3、zookeeper集群搭建(可以参考zookeeper的官网)
把zookeeper中conf目录下的
zoo_sample.cfg复制一封改为:zoo.cfg,文件中添加如下内容:
dataDir=/opt/zookeeper
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888
最后在node1的服务器的/opt/zookeeper目录下建立myid文件,内容为1;同理node2为2;node3为3。
在node1上进入到zookeeper的bin目录下,输入./zkServer.sh start
同理node2;
同理node3;
再在node1到node3的bin目录下,输入./zkServer.sh status
看到如下内容表示你已成功:
JMX enabled by default
Using config: /usr/zookeeper/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
如上zookeeper集群已经搭建完成。

猜你喜欢

转载自www.linuxidc.com/Linux/2016-12/138476.htm
今日推荐