1. 概述
YARN是一个资源管理系统,负责集群资源的管理和分配。如果想要将一个新的应用程序运行在YARN之上,通常需要编写两个组件:客户端和ApplicationMaster。由于这两个组件编写非常复杂,尤其ApplicationMaster,需要考虑RPC调用、任务容错等细节,所以,往往由专业的开发人员编写这两个组件,并提供给上层的应用程序用户使用。如果大量应用程序可抽象成一种通用框架,那么只需实现一个客户端和一个ApplicationMaster,然后让所有应用程序重用这两个组件即可,比如MapReduce是一种通用的计算框架,YARN已经为其实现了一个直接可以使用的客户端—MRClientService和ApplicationMaster—MRAppMaster。
本文主要介绍了如何让一种新的应用程序,或者新的计算框架,运行于YARN之上。正如前面介绍的,用户需要编写两个组件完成该任务:客户端和ApplicationMaster,其中,客户端负责向ResourceManager提交ApplicationMaster,并查询应用程序运行状态,ApplicationMaster负责向ResourceManager申请资源(以Container形式表示),并与NodeManager通信以启动各个Container,此外,ApplicationMaster还负责监控各个任务运行状态,并在失败是为其重新申请资源。
2. YARN Appcalition涉及到的RPC协议和主要编写步骤
(1)涉及到的RPC协议
通常而言,编写一个YARN Appcalition涉及到3个RPC协议,分别为:
1) ClientRMProtocol(Client<–>ResourceManager)
Client通过该协议将应用程序提交到ResourceManager上、查询应用程序的运行状态或者杀死应用程序等。
2) AMRMProtocol(ApplicationMaster<–>ResourceManager)
ApplicationMaster使用该协议向ResourceManager注册、申请资源以运行自己的各个任务。
3) ContainerManager(ApplicationMaster<–> NodeManager)
ApplicationMaster使用该协议要求NodeManager启动/撤销Container,或者获取各个container的运行状态。
(2)客户端编写流程
步骤1Client通过RPC函数ClientRMProtocol#getNewApplication从ResourceManager中获取唯一的application ID
步骤2Client通过RPC函数ClientRMProtocol#submitApplication将ApplicationMaster提交到ResourceManager上。
(3)ApplicationMaster编写流程
步骤1ApplicationMaster通过RPC函数AMRMProtocol#registerApplicationMaster向ResourceManager注册。
步骤2ApplicationMaster通过RPC函数AMRMProtocol#allocate向ResourceManager申请资源(以Container形式表示)。
步骤3ApplicationMaster通过RPC函数ContainerManager#startContainer要求对应的NodeManager启动Container。
ApplicationMaster重复步骤2~3,直到所有任务运行成功。
另外,在应用程序运行过程中,用户可使用ClientRMProtocol#getApplicationReport 查询应用程序运行状态,也可以使用ClientRMProtocol#forceKillApplication将应用程序杀死。
3. 编写YARN Appcalition详细步骤介绍
(1)客户端编写流程
客户端通常只需与ResourceManager交互,期间涉及到多个数据结构和一个RPC协议,具体如下:
步骤1 获取ApplicationId。客户端通过RPC协议ClientRMProtocol向ResourceManager发送应用程序提交请求GetNewApplicationRequest,ResourceManager为其返回应答GetNewApplicationResponse,该数据结构中包含多种信息,包括ApplicationId、可资源使用上限和下限等。
步骤2 提交ApplicationMaster。将启动ApplicationMaster所需的所有信息打包到数据结构ApplicationSubmissionContext中,主要包括以下几种信息:
(1)application id
(2)application 名称
(3)application优先级
(4)application 所属队列
(5)application 启动用户名
(6)ApplicationMaster对应的Container信息,包括:启动ApplicationMaster所需各种文件资源、jar包、环境变量、启动命令、运行ApplicationMaster所需的资源(主要指内存)等。
客户端调用ClientRMProtocol#submitApplication(ApplicationSubmissionContext)将ApplicationMaster提交到ResourceManager上。
(ResourceManager收到请求后,会为ApplicationMaster寻找合适的节点,并在该节点上启动它)。
客户端可通过多种方式查询应用程序的运行状态,其中一种是调用RPC函数ClientRMProtocol#getApplicationReport获取一个应用程序当前运行状况报告,该报告内容包括应用程序名称、所属用户、所在队列、ApplicationMaster所在节点、一些诊断信息、启动时间等。
(2)编写ApplicationMaster
ApplicationMaster需要与ResoureManager和NodeManager交互,以申请资源和启动Container,期间涉及到多个数据结构和两个RPC协议。具体步骤如下:
步骤1 注册。ApplicationMaster首先需通过RPC协议AMRMProtocol向ResourceManager发送注册请求RegisterApplicationMasterRequest,该数据结构中包含ApplicationMaster所在节点的host、RPC port和TrackingUrl等信息,而ResourceManager将返回RegisterApplicationMasterResponse,该数据结构中包含多种信息,包括该应用程序的ACL列表、可资源使用上限和下限等。
步骤2 申请资源。根据每个任务的资源需求,ApplicationMaster可向ResourceManager申请一系列用于运行任务的Container,ApplicationMaster使用ResourceRequest类描述每个Container(一个container只能运行一个任务):
1) Hostname 期望Container所在的节点,如果是“*”,表示可以为任意节点。
2) Resource capability 运行该任务所需的资源量,当前仅支持内存资源。
3) Priority 任务优先级。一个应用程序中的任务可能有多种优先级,ResourceManager会优先为高优先级的任务分配资源。
4) numContainers 符合以上条件的container数目。
一旦为任务构造了Container后,ApplicationMaster会使用RPC函数AMRMProtocol#allocate向ResourceManager发送一个AllocateRequest对象,以请求分配这些Container,AllocateRequest中包含以下信息:
1)Requested containers 所需的Container列表
2)Released containers 有些情况下,比如有些任务在某些节点上失败过,则ApplicationMaster不想再在这些节点上运行任务,此时可要求释放这些节点上的Container。
3)Progress update information 应用程序执行进度
4)ResponseId RPC响应ID,每次调用RPC,该值会加1。
ResourceManager会为ApplicationMaster返回一个AllocateResponse对象,该对象中主要信息包含在AMResponse中:
1)reboot ApplicationMaster是否需要重新初始化.当ResourceManager端出现不一致状态时,会要求对应的ApplicationMaster重新初始化。
2)Allocated Containers 新分配的container列表。
3)Completed Containers 已运行完成的container列表,该列表中包含运行成功和未成功的Container,ApplicationMaster可能需要重新运行那些未运行成功的Container。
ApplicationMaster会不断追踪已经获取的container,且只有当需求发生变化时,才允许重新为Container申请资源。
步骤3 启动Container。当ApplicationMaster(从ResourceManager端)收到新分配的Container列表后,会使用RPC函数ContainerManager#startContainer向对应的NodeManager发送ContainerLaunchContext以启动Container,ContainerLaunchContext包含以下内容:
1)ContainerId Container id
2)Resource 该Container可使用的资源量(当前仅支持内存)
3)User Container所属用户
4)Security tokens 安全令牌,只有持有该令牌才可启动container
5)LocalResource 运行Container所需的本地资源,比如jar包、二进制文件、其他外部文件等。
6)ServiceData 应用程序可能使用其他外部服务,这些服务相关的数据通过该参数指定。
6)Environment 启动container所需的环境变量
7)command 启动container的命令
ApplicationMaster会不断重复步骤2~3,直到所有任务运行成功,此时,它会调用AMRMProtocol#finishApplicationMaster,以告诉ResourceManage自己运行结束。
【注意】 整个运行过程中,ApplicationMaster需通过心跳与ResourceManager保持联系,这是因为,如果一段时间内(默认是10min),ResourceManager未收到ApplicationMaster信息,则认为它死掉了,会重新调度或者让其失败。通常而言,ApplicationMaster周期性调用RPC函数AMRMProtocol#allocate向其发送空的AllocateRequest请求即可。
4. 总结
编写一个兼具高容错性和高性能的ApplicationMaster是非常不容易的,在后面几篇博文中,我将介绍YARN中提供的两个ApplicationMaster实现,一个是非常简单,通常用作示例的dsitributedshell,另一个是MapReduce计算框架对应的ApplicationMaster—MRAppMaster。
分享到:
相关推荐
编写YARN应用程序的快速而有趣的方式。___下载.zip
该项目的目标是减少编写容错YARN应用程序的入门门槛,主要是利用Twill(在撰写本文时)。 在, 和阅读有关斜纹的更多。 简单的斜纹应用示例 是使用Twill部署在YARN上的一个非常简单的应用程序。 该应用程序基本上会...
react-native-honors-app ##此React Native App的编码方式将硬件推到足以能够测试用Swift编写的同一应用程序的程度。... -将此应用程序克隆到您的计算机上-cd进入目录-在终端上键入“ yarn”,然后按Ente
将 Kubernetes 与 YARN 集成,用户可以运行打包为 pod(使用 Kubernetes)和 YARN 应用程序(使用 YARN)的容器,同时确保跨这些(PaaS 和数据)工作负载的通用资源管理。Kubernetes-YARN 目前处于原型/alpha 阶段...
使用Eclipse编写Spark应用程序(scala)(建议) 121 使用Eclipse编写Spark应用程序(java+maven) 123 使用Eclipse编写Spark应用程序(java) 128 Storm安装和使用 130 使用Eclipse编写Storm程序(maven) 134 ...
这将节省您将Electron和React混合在一起的时间,并且您可以在几秒钟内开始编写dekstop应用程序的代码。 我如何开始使用Reactron? 这很简单,只需执行以下操作: git clone ...
在开发模式下运行应用程序。 打开在浏览器中查看。 如果进行编辑,页面将重新加载。 您还将在控制台中看到任何棉绒错误。 yarn test 在交互式监视模式下启动测试运行程序。 有关更多信息,请参见关于的部分。 ...
内置于React Native中的演示应用程序。 发展 要求 节点JS 纱 运行应用 该应用程序使用进行开发。 在手机上安装Expo应用程序,然后运行: yarn install yarn start 使用Expo应用程序扫描QR码,然后离开。 建筑...
应用程序的客户端是使用React编写的,后端是使用Express编写的,以提供对数据库的访问。 应用程序的样式使用CSS和。 用于该项目的示例电影取自网站。快速开始要使用该应用程序,请使用git clone ...
brew install yarn 确保所有依赖项都已与yarn一起安装林亭ESLint已经迷上了git的预推手动运行: yarn lint环境变量复制.env.example并将其命名为.env 在.env填写必要的变量跑步用yarn start运行应用程序查看位于的...
这是Redwood应用程序的示例,它实现了非常少的发票应用程序。 您可以在此处看到的功能: 红木单元(请参阅TodoListCell.js)。 使用Apollo的乐观GraphQL响应(请参阅AddTodo.js)。 SVG加载器(请参阅Check.js) ...
通过复制工作方式(几乎完全没有Redux),它可以帮助您编写存储应用程序状态的React应用程序,而这些机制完全是使用在纯React中完成。 它为您提供了React Hooks和React HOC,使您能够轻松访问所需的存储功能和数据...
Angular应用程序的分布式跟踪。 注意:该库当前正在处理繁重的工作,因此请期待会有重大更改。 目标 为Angular应用程序启用分布式跟踪 支持在组件和视图中进行跟踪 Angular HttpClient的跟踪集成 独立跟踪库(不...
有一个用Node.js编写的基于Web的API,该API也运行一个Web应用程序。 Android应用程序连接到此API。 节点版本:14 CLI应用程序是用Python 3编写的。有关设置信息,请参见cli/README.md 。 有关构建Android应用的...
该存储库包含用React编写的前端应用程序,以及用于计算和生成地图的Flask后端。 这项工作仍在进行中,应该这样考虑。 组件 React 前端是用React编写的,使用create-react-app引导程序来提供PWA功能。 可以使用常规...
yarn run build build-构建应用程序(打字稿编译) yarn run dev dev-启动nodemon(通过自动重建更改自动重启) 常问问题 在哪里添加环境变量? 所有的env变量都在secret.ts文件中处理。 该文件导出包含所有导入的...
用于编写元数据的Web应用程序。 使用。 转到以使用该应用程序。 有关的信息,请参见 。 另外,请参阅以获取有关该项目的更多信息。 先决条件(用于开发) 您需要在计算机上正确安装以下物品。 安装 git clone ...
只需运行yarn install来收集所有依赖项,然后运行yarn start来测试该应用程序。 要进行分发,只需运行yarn dist即可构建单个二进制文件以及应用程序安装程序。笔记用于连接到机器人的组号是硬编码的,只能在“ ...
在开发模式下运行应用程序。 打开在浏览器中查看它。 如果您进行编辑,则页面将重新加载。 您还将在控制台中看到任何棉绒错误。 yarn test 在交互式监视模式下启动测试运行器。 有关更多信息,请参见关于的部分。...
这是一个通过应用程序的MVP驱动器。 该代码最初是作为公司的带回家作业编写的,并且在另一个回购中。 为了保留代码,但删除所有提交历史以显示公司名称,我将代码复制到了此仓库中。 抱歉,我无法为那些想翻阅提交...