频道栏目
首页 > 网络 > 云计算 > 正文

世界杯投注官网

2018-06-20 04:32:47      个评论    来源:青青青的博客  
收藏   我要投稿

YARN架构设计也是主从架构,分为Resource Mananger(RM)和Node Manager(NM),其中RM主要负责应用管理和资源调度,NM主要负责容器和作业。

一、YARN架构介绍

\

YARN架构图如上图所示,详细介绍如下:

ResourceManager(RM):负责对各NM上的资源进行统一管理和调度,将AM分配空闲的Container运行并监控其运行状态。对AM申请的资源请求分配相应的空闲Container。主要由两个组件构成:调度器(Scheduler)和应用程序管理器(Applications Manager)。调度器(Scheduler):调度器根据容量、队列等限制条件(如每个队列分配一定的资源,最多执行一定数量的作业等),将系统中的资源分配给各个正在运行的应用程序。调度器仅根据各个应用程序的资源需求进行资源分配,而资源分配单位是
Container,从而限定每个任务使用的资源量。Scheduler不负责监控或者跟踪应用程序的状态,也不负责任务因为各种原因而需要的重启(由ApplicationMaster负责)。总之,调度器根据应用程序的资源要求,以及集群机器的资源情况,为用程序分配封装在Container中的资源。调度器是可插拔的,例如CapacityScheduler、FairScheduler。(PS:在实际应用中,只需要简单配置即可)应用程序管理器(Application Manager):应用程序管理器负责管理整个系统中所有应用程序,包括应用程序提交、与调度器协商资源以启动AM、监控AM运行状态并在失败时重新启动等,跟踪分给的Container的进度、状态也是其职责。NodeManager(NM):NM是每个节点上的资源和任务管理器。它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态;同时会接收并处理来自AM的Container 启动/停止等请求。ApplicationMaster(AM):世界杯指定投注官网提交的应用程序均包含一个AM,负责应用的监控,跟踪应用执行状态,重启失败任务等。ApplicationMaster是应用框架,它负责向ResourceManager协调资源,并且与NodeManager协同工作完成Task的执行和监控。MapReduce就是原生支持的一种框架,可以在YARN上运行Mapreduce作业。有很多分布式应用都开发了对应的应用程序框架,用于在YARN上运行任务,例如Spark,Storm等。如果需要,我们也可以自己写一个符合规范的YARN application。Container:是YARN中的资源抽象,它封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等,当AM向RM申请资源时,RM为AM返回的资源便是用Container 表示的。 YARN会为每个任务分配一个Container且该任务只能使用该Container中描述的资源。(详细介绍可参考小编博客:Container容器详解)

二、YARN常用命令

1、 查看YARN命令

1.进入hadoop程序目录中的bin目录
2.查看yarn所以命令
yarn

2、查看正在运行的任务

hadoop/bin]$yarn application -list

PS:application_1528463812366_0001,查询的数字1528463812366代表long型下的时间数值

3、杀掉正在运行任务

yarn application -kill 任务id
例:yarn application -kill application_1528463812366_0001

三、YARN三种调度器

应用对YARN资源的请求应该立刻得到满足,但是实际环境中资源有限,一个应用资源的请求可能要等待一段时间才能得到相应的资源。在YARN中,负责应用资源分配的是Schedule,对于调度,其本身就是一个难题。YARN中提供了三种可以选择的调度器:FIFO Schedule、Capacity Schedule、FairSchedule,其对比图如下图所示。

\

FIFO Schedule:也可称为队列调度器,简单的理解所提交的job一个一个完成。

Capacity Schedule(默认):简单理解就是会额外空出一部分资源,专门用于完成一些小的job,但是若没有相关任务,则这个资源就会一直占用,容易造成资源浪费。

Fair Schedule:一般情况下,调度器选择这种调度方式,简单理解就是我一个job占用全部资源工作,若有小job来,就释放一定的资源去完成小job,小job完成后,大job继续占用,一般不会产生资源浪费。PS:小job提交后需要等待一定时间,等大job释放资源。

上一篇:linux软链接的创建、删除和更新
下一篇:【Zookeeper】编程实战之Zookeeper分布式锁实现秒杀
相关文章
图文推荐

关于我们 | 联系我们 | 服务 | 投资合作 | 版权申明 | 在线帮助 | 网站地图 | 作品发布 | Vip技术培训 | 举报中心

版权所有: 红黑--致力于做实用的IT技术学习网站