hadoop的架构模块

1、hadoop的架构模块介绍

HDFS模块:(主从架构)分布式文件存储系统

     namenode:主节点,主要负责集群的管理以及元数据信息管理。

     datanode:从节点,主要负责存储用户数据。

     secondaryNameNode:辅助namenode管理元数据信息,以及元数据信息的冷备份。

Yarn模块:(主从架构)资源管理调度系统

     ResourceManager:主节点,主要负责资源调度分配。

     NodeManager:从节点,主要负责执行任务。

2hadoop的运行模式

Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。

本地运行模式

无需任何守护进程,所有的程序都运行在同一个JVM上执行。在独立模式下调试MR程序非常高效方便。所以一般该模式主要是在学习或者开发阶段调试使用

伪分布式运行模式

 Hadoop守护进程运行在本地机器上,模拟一个小规模的集群,换句话说,可以配置一台机器的Hadoop集群,伪分布式是完全分布式的一个特例。

完全分布式运行模式

Hadoop守护进程运行在一个集群上,需要使用多台机器来实现完全分布式服务的安装。

发布了18 篇原创文章 · 获赞 17 · 访问量 2507

猜你喜欢

转载自blog.csdn.net/fengge18306/article/details/104931706
今日推荐