Hadoop学习之Yarn

Yarn是Hadoop的集群资源管理系统,一些分布式计算框架(MapReduce,Spark等)作为Yarn应用运行在集群计算层(Yarn)和集群存储层(HDFS和HBase),而Pig,Hive等应用是运行在分布式计算框架之上。

Yarn提供了三个调度器:

FIFO调度器:队列,先进先出运行应用,不适合共享集群,小作业容易被大作业阻塞。

容量调度器:一个独立的队列保证小作业一提交就可以启动,以整个集群的利用率为代价。与FIFO相比,大作业执行的时间更长。

公平调度器:不需要预留一部分资源,调度器会在所有运行的作业之间动态平衡资源。大作业开始后获取全部的资源,然后小作业启动并得到一半的资源,当小作业结束不再申请资源之后,大作业将再次使用所有的集群资源。支持“抢占”功能。所谓抢占,就是允许调度器终止那些占用资源超过了其公平共享份额的队列的容器,这些容器资源释放之后可以分配给资源数量低于应得份额的队列。抢占会降低整个集群的效率。

延迟调度:一个应用请求某个节点,此时如果等待一小段时间(不超过几秒),能够戏剧性的增加在所请求的节点上分配到一个容器的机会,从而提高整个集群的效率。 容器调度器和公平调度器都支持延迟调度。使用延迟调度的时候,调度器不会简单的使用它收到的第一个调度机会,而是等待设定的最大数目的调度机会发生。

猜你喜欢

转载自blog.csdn.net/Saikikky/article/details/84325010