安装部署Hadoop HA

数据库 2020-06-24 10:27:37 阅读次数: 0

              写在前面，我才疏学浅，希望各位大牛批评指正，本着虚心接受的态度分享这篇文章！

## 1 **实验目的**

• 了解Hadoop HA的安装方式
• 掌握Hadoop HA安装部署方法

## 2 Hadoop HA模式规划

机器名 机器IP 用途 描述 进程数量
master 192.168.122.xxx 主节点 64位Centos7 7
slave1 192.168.122.xxx 从节点1 64位Centos7 7
slave2 192.168.122.xxx 从节点2 64位Centos7 4


## 3 实验描述


本实验以3个节点的集群为例，详细介绍Hadoop HA集群搭建过程。


## 4 部署Hadoop完全式前置配置

4.1前置基础配置参考【4.1--4.5步】：

      https://blog.csdn.net/weixin_43209528/article/details/106793613

4.2配置zookeeper

这里配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为active状态。

  • 上传zk安装包到~/目录下
  • 解压 tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local
  • 配置环境变量

       export ZOOKEEPER_HOME=/usr/local/

扫描二维码关注公众号，回复： 11353911 查看本文章

       export PATH=$PATH:$ZOOKEEPER_HOME/bin

  •     创建zoo.cfg 文件，并修改配置

      cd  .../zookeeper/conf/

      cp  zoo_sample.cfg  zoo.cfg

     vi  zoo.cfg

修改     dataDir=/usr/local/zookeeper/data

新增：    server.1=master:2888:3888

         server.2=slave1:2888:3888

         server.3=slave2:2888:3888    
  • 在zk目录下创建文件夹data

 mkdir  data

在data目录下创建文件myid，值为1

 vi  myid

增加 ：  1

  • 把zk目录复制到另外两个节点slave1，slave2上。

scp -r /usr/local/zookeeper  slave1:/usr/local

scp -r /usr/local/zookeeper  slave2:/usr/local

  • 远程登录slave1和slave2，把slave1和slave2节点上的myid分别改为2和3，

ssh slave1

vi /usr/local/zk/data/myid  //修改内容为2

  • 在每个节点配置环境变量，并使其生效
  • zookeeper集群启动和检验

启动，在三个节点上分别执行命令zkServer.sh start

检验，在三个节点上分别执行命令zkServer.sh status

其中一个从节点为leader  其余都是follower

关闭 在三个节点上分别执行命令zkServer.sh stop

用jps查看进程：都启动QuorumPeerMain

4.3将hadoop添加到环境变量中

     export  HADOOP_HOME=/usr/local/hadoop

     export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

     source /etc/profile


## 5 安装配置Hadoop HA

5.1修改Hadoop配置文件

cd /usr/local/hadoop/etc/hadoop

要配置haoop-env.sh和yarn-env.sh的Java_Home不然Journalnode起不来

vi haoop-env.sh

export  JAVA_HOME=/usr/local/jdk

vi yarn-env.sh

export  JAVA_HOME=/usr/local/jdk

vi core-site.xml

<configuration>
    <!--集群名称在这里指定！该值来自于hdfs-site.xml中的配置-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
    <!--这里的路径默认是NameNode、DataNode、JournalNode 等存放数据的公共目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
    <!--ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点-->
<property>
<name>ha.zookeeper.quorum</name>
<value>master:2181,slave1:2181,slave2:2181</value>
</property>
</configuration>

vi hdfs-site.xml

<configuration>
    <!--指定hdfs的nameservice为mycluster，需要和core-site.xml中的保持一致-->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
    <!--mycluster下面有两个NameNode，分别是nn1，nn2 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
    <!--nn1的RPC通信地址-->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>master:9000</value>
</property>
    <!--nn1的http通信地址-->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>master:50070</value>
</property>
    <!--nn2的RPC通信地址-->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name> 
<value>slave1:9000</value>
</property>
    <!--nn2的http通信地址-->
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>slave1:50070</value>
</property>
    <!--指定NameNode的edits元数据在JournalNode上的存放 位置-->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://master:8485;slave1:8485;slave2:8485/ mycluster</value>
</property>
    <!--指定JournalNode在本地磁盘存放数据的位置-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/hadoop/journaldata</value>
</property>
    <!--开启NameNode失败自动切换-->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
    <!--指定该集群出故障时，哪个实现类负责执行故障切换-->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
    <!--配置隔离机制方法，即同一时刻只有一台服务器对外响应-->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence
shell(/bin/true)
</value>
</property>
    <!--使用sshfence隔离机制时需要ssh免登陆-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/hadoop/.ssh/id_rsa</value>
</property>
    <!--配置sshfence隔离机制超时时间-->
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
</configuration>

cp  mapred-site.xml.template mapred-site.xml

vi mapred-site.xml            

<configuration>
    <!--指定mr框架为yarn方式-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
    <!--配置历史服务-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
    <!--配置历史服务webapp端口-->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>

vi yarn-site.xml

<configuration>    
    <!--开启RM高可用-->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
    <!--指定RM的cluster id -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarn-cluster</value>
</property>
    <!--指定RM的名字-->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
    <!--分别指定RM的地址-->     
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>master</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>slave1</value>
</property>
    <!--指定zk集群地址-->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>master:2181,slave1:2181,slave2:2181</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>slave1:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

vi slaves

master
slave1
slave2

 

5.2 在master将修改好的Hadoop分发到slave1,slave2节点

    scp -r /usr/local/hadoop hadoop@slave1:/usr/local

    scp -r /usr/local/hadoop hadoop@slave2:/usr/local

 

5.3 参考之前的方式,在slave1,slave2配置环境变量

5.4 启动高可用集群

  • 之前zk已经启动了现在在master,slave1,slave2上面手动启动journalnode

hadoop-daemon.sh start journalnode

 

  • hdfs namenode -format（只master）

 

  • 格式化后会在根据core-site.xml中的hadoop.tmp.dir配置的目录下生成个hdfs初始化文件，把hadoop.tmp.dir配置的目录下所有文件拷贝到另一台namenode节点所在的机器

scp -r /usr/local/hadoop/tmp hadoop@slave1:/usr/local/hadoop/

 

  • 格式化ZKFC

hdfs zkfc -formatZK(在master上执行即可)

启动zkfc：hadoop-daemon.sh start zkfc（namenode台）

 

  • 启动hdfs：start-dfs.sh（master）

启动yarn：start-yarn.sh

 

  • 启动备用yarn

yarn-daemon.sh start resourcemanager（slave1）

 

5.5 集群进程分布如下：

master

[root@master sbin]# jps
2001 DFSZKFailoverController
2562 NameNode
1411 JournalNode
2599 Jps
1370 QuorumPeerMain
1691 DataNode
2219 NodeManager
2110 ResourceManager

 

slave1

[root@slave1 ~]# jps
1520 NameNode
1680 DFSZKFailoverController
1458 JournalNode
1812 ResourceManager
2054 Jps
1419 QuorumPeerMain
1755 NodeManager
1580 DataNode

 

slave2

[root@slave2 ~]# jps
1648 NodeManager
1538 DataNode
1463 JournalNode
1818 Jps
1422 QuorumPeerMain
 

 

  补充：

1、 HA严格来说应该分成各组件的HA，hdfs的HA和yarn的HA

       hdfs-HA工作机制：通过双namenode清除单节点故障

2、工作要点

  1)元数据管理方式改变：只有active的namenode可以对edits做写操作 ，两个namenode都可以读取edits

 共享的edits放在一个共享存储中管理（qjournal和NFS）

        dfs.namenode.shared.edits.dir

        qjournal://master:8485;slave1:8485;slave2:8485/cluster1

    QJM(Quorum Journal Manager) 默认共享存储实现

  2)需要一个状态管理功能模块：zkfailover，常驻namenode节点，发生故障时进行切换

  3)保证两个namenode间ssh无密码登录

  4)隔离机制，fence，同一时刻只能有一个namenode提供服务

3、HDFS-HA自动故障转移机制

  增加两个组件zookeeper和ZKFailoverController(ZFKC)

  zkfc时zookeeper的客户端，负责检测监视转移故障

同时出现两个active状态的namenode术语叫脑裂brain split，防止brain split的两种方式，ssh发送kill指令(ssh kill -9 XXX)和调用用户自定义脚本程序。

 

 

 

 

 

猜你喜欢

转载自blog.csdn.net/weixin_43209528/article/details/106930935
今日推荐
TIOBE 5 月榜单：Fortran “复活”进入 Top 10
GCC 14.1 发布
面壁智能发布 Eurux-8x22B 开源大模型 —— 堪称「理科状元」
开源日报 | 谷歌扶持鸿蒙上位；开源Rabbit R1；Docker加持的安卓手机；微软的焦虑和野心；海尔电器把开放平台关了
中国码农的“35岁魔咒”
蘭雅 CorelDRAW 插件 2024.5.1 国际劳动节版，免费下载
Arc Browser for Windows 1.0 正式 GA
90后程序员开发视频搬运软件、不到一年获利超 700 万，结局很刑！
周排行
Java自定义时间格式
同步整形电路
在开发中最最最常用的字符串的属性大集合
Linux 查看端口占用并杀掉
Java基础四：ArrayList
多线程之死锁就是这么简单
mysql 基础命令集
awk 命令详解
Centos6.3编译安装nginx+php步骤
OCR （Optical Character Recognition，光学字符识别）
每日归档
更多
2024-05-08(42)
2024-05-07(14)
2024-05-06(40)
2024-05-05(0)
2024-05-04(7)
2024-05-03(19)
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022