ResourceManager中的对象均被封装成服务和事件处理器,其中,封装成服务是为了统一管理,而所有事件处理器处理来自中央总调度器分配的事件,总调度器将各个服务发送出来的事件按照事件类型分配给对应的事件处理器,如此循环,构成了ResourceManager的整体架构。
(1)RM中的服务
YARN采用了服务模型,它将各种对象服务化,以便于统一管理(统一启动、关闭等)。YARN中将服务分为两种:单一服务和组合服务,组合服务是将多个单个服务组合在一起。
单一服务需继承AbstractService抽象类,而组合服务需继承CompositeService抽象类。在ResourceManager中,AdminService和ClientRMService为单一服务,而ResourceManager则为组合服务。
(2)RM中的事件处理器
围绕中央调度器AsyncDispatcher,ResourceManager共有8种事件调度器,它们处理的事件类型如图所示。
每个对象 均可能触发一定的事件,这些事件被统一传递给AsyncDispatcher,AsyncDispatcher收到事件后将之放到一个事件队列中,异步进行处理,比如,如果是AMLauncherEvent类型的事件,则分配给事件处理器ApplicationMasterLauncher,如果是SchedulerEvent类型事件,则分配给事件处理器ResourceScheduler处理。
分享到:
相关推荐
YARN(MRv2)搭建
yarn-v0.23.2.tar.gz 在安装ambari,源码编译的时候下载的文件有问题 手动下载 地址 https://github.com/yarnpkg/yarn/releases/download/v0.23.2/yarn-v0.23.2.tar.gz
脚本使用:vim编辑脚本,按照自己的配置修改主机号,我的是hadoop1、2是NN;hadoop2、3是Spark Master;hadoop3还是RM;hadoop4、5、6是DN、NM、Spark Worker。编辑完成后在满足“前提”的任意一台主机运行均可。 ...
yarn-v1.22.5.tar.gz
2013-Apache Hadoop YARN_ Yet Another Resource Negotiator.pdf
官网直接安装的不支持vite2+vue3的 主要修复: 1.build或者dev项目时不报错,兼容vite2,vue3; 2.加入deep监听watch,直接在父组件中修改图表中的config参数即可完成图表中的数据变更。 yarn npm cnpm pnpm可通用...
Hadoop技术内幕深入解析YARN架构设计与实现原理
深入解析YARN架构设计与实现原理,深入解析YARN架构设计与实现原理深入解析YARN架构设计与实现原理深入解析YARN架构设计与实现原理
hadoop YARN应用开发与核心源码剖析
检测包装经理 这是如何运作的?...yarn add detect-package-manager 用法 const detectPackageManager = require ( 'detect-package-manager' ) detectPackageManager ( ) . then ( pm => { console . log
rmstateutils 分析Hadoop Yarn Resource Manager状态存储的工具用法: 将存储库检出到系统中的目录。 CD到目录并运行mvn包成功构建之后,目标目录中应存在rmstateutils-1.0-SNAPSHOT-jar-with-dependencies.jar。 ...
YARN配置、启动与验证 YARN配置、启动与验证 序号 任务名称 任务一 YARN组件参数配置 任务二 MapReduce组件参数配置 任务三 配置SSH无密钥登录(slave1为主节点) 任务四 分发YARN与MapReduce配置文件 任务五 启动...
Hadoop 深入解析Yarn架构设计#学习resource manager:资源管理器container :监控容器map reduce1与yarn的比较Ya
SPARK2_ON_YARN-2.4.0 jar包下载
Hadoop技术内幕深入解析YARN架构设计与实现原理PDF,不可用于商业用途,如有版权问题,请联系删除!
Hortonworks Data Platform: YARN Resource Management
Hadoop技术内幕:深入解析YARN架构设计与实现原理 高清完整中文版PDF下载
yarn-workspace-plugin-since
yarn架构详解,关于大数据yarn资源调度的详解