搭建Hadoop之部署前准备(一)

1.Hadoop部署的基本知识

Hadoop的部署模式分为三种,分别是单节点模式、伪分布式集群模式、多节点集群模式。

1. 单节点模式

无需任何守护进程,所有的程序都运行在同一个JVM上执行。在独立模式下调试MapReduce程序非常高效方便。所以一般该模式主要是在学习或者开发阶段调试使用 。

2. 伪分布式集群模式

Hadoop守护进程运行在本地机器上,模拟一个小规模的集群,换句话说,可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。

3. 多节点集群模式

Hadoop守护进程运行在一个集群上,是一个真正意义上的分布式大数据集群。
在这里插入图片描述

2.hadoop前准备

  1. 准备安装环境,包括虚拟机、CentOS系统、JDK、Hadoop。
  2. 安装3虚拟机用于模拟真实物理集群。
  3. 在每台虚拟机中安装JDK,JDK是Hadoop平台运行的基础环境。
  4. 部署Hadoop平台,并对其四个重要文件进行配置实现集群化。
  5. 启动并运行Hadoop集群
    注意jdk版本是否兼容
软件包以及提取码

链接:https://pan.baidu.com/s/1nao93d0fGB5eHqPEk9eezg
提取码:9xy5
在这里插入图片描述

软件说明
  1. CentOS-7-x86_64-DVD-1511.iso:CentOS7版本的Linux系统,我们所用到的大数据平台是基于Linux 系统的,换言之大数据平台运行在Linux系统之上。
  2. hadoop-3.0.0:hadoop第三版的大数据平台包。
  3. jdk-8u161-linux-x64.tar.gz:jdk1.8的java开发环境压缩包,因为我们的Hadoop需要Java运行环境的支持。

虚拟机内操作系统安装

CentOS7安装

我们一共需要三台机器作为一个服务器集群,分别命名为master,node1,node2.
在这里插入图片描述

配置供参考┗|`O′|┛

在这里插入图片描述

架构分布

NameNode运行在Master节点、SecondaryNameNode运行在Node1节点,DataNode运行在Node1和Node2节点上。ResourceManager运行在Master节点上,NodeManager运行在Node1和Node2上。从而可以看出,我们Master节点为主节点,Node1和Node2作为数据节点。

下一篇:
搭建Hadoop之配置Liunx操作系统(二)
搭建Hadoop之jdk安装及配置(三)
搭建hadoop之启动hadoop平台(四)

发布了53 篇原创文章 · 获赞 108 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/Miracle1203/article/details/104683089