Hadoop笔记 - Hadoop的组成

一、分布式文件系统 - HDFS

  1.NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode。-------轻量级数据

  2.DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。 -------重量级数据

  3.SecondaryNameNode(2nn):用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。 -------用于辅助NameNode

  把HDFS比作一本书的话,NameNode就是这本书的目录,DataNode就是这本书的内容部分,

二、资源调度框架 - YARN

  ResourceManager(rm):处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度;

  NodeManager(nm):单个节点上的资源管理、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令;

  ApplicationMaster:数据切分、为以你敢用程序申请资源、并分配给内部任务、任务监控与容错。

  Container:对任务运行环境的抽象,封装了CPU、内存等多维度的资源以及环境变量、启动命令等任务运行相关的信息。

三、大数据计算引擎 - MapReduce

  Map阶段并处理输入数据;

  Reduce阶段对Map结果进行汇总;

猜你喜欢

转载自www.cnblogs.com/sleepy-goblin/p/9939387.html