Hadoop环境搭建教学(一)运行环境,集群规划介绍；

---

前言

Hadoop的运行环境可以是在Windows上,也可以在linux上,但在Windows上运行效率很低;

下面介绍Hadoop在linux的环境搭建;

一、Hadoop的三种运行环境

Hadoop运行环境有三种模式：本地模式，伪分布模式，完全分布式模式

本地模式（Standalone Mode）

默认情况下，Hadoop即处于该模式，用于开发和调式。【不推荐使用】

1. 不对配置文件进行修改。
2. 使用本地文件系统，而不是分布式文件系统.
3. Hadoop不会启动NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。
4. 用于对MapReduce程序的逻辑进行调试，确保程序的正确。

伪分布模式（Pseudo-Distributed Mode）

Hadoop的守护进程运行在本机机器，模拟一个小规模的集群。【电脑配置不高的可以使用】　

1. 在一台主机模拟一个小规模的集群，在这种模式下Hadoop使用的是分布式文件系统，一般用于程序调试与测试.也可以说伪分布式是完全分布式 的一个特例。
2. 在这种模式下，Hadoop使用的是分布式文件系统。在单机模式之上增加了代码调试功能，允许检查内存使用情况，HDFS输入输出，以及守护进程交互。Hadoop启动NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager，这些守护进程都在同一台机器上运行，是相互独立的Java进程。
3. 需要修改配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。
4. 格式化文件系统

完全分布式模式（Cluster Mode） <本次搭建的环境>

Hadoop的运行在由多台主机搭建的集群上，是真正的生产环境。【电脑内存8G及以上就可以配置】

1. 在这种模式下，Hadoop在所有的主机上安装JDK、Hadoop、Zookeeper等软件，组成相互连通的网络。
2. 主机间设置SSH免密码登录，把各从节点生成的公钥添加到主节点的信任列表中。
3. 需要修改配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh。 格式化文件系统
4. 启动Hadoop后的进程：NameNode，DataNode，ResourceManager，NodeManager，SecondaryNameNode
   

二、集群规划

三.需要的基本软件安装

1. VMware 安装
   由于版权原因各位自行下载;VM16即可
2. Linux 系统安装
   用的是CentOs7,
   可以参考https://blog.csdn.net/weixin_45556441/article/details/114382989
   资源下载 https://download.csdn.net/download/weixin_45556441/15676799
3. 远程连接工具安装
   直接安装Xshell绿色版即可。
   安装地址 https://download.csdn.net/download/weixin_45556441/15676579

下期见

Hadoop环境搭建教学(二)完全分布式集群搭建；