Hadoop系列-07 Hadoop YARN资源调度详解：架构原理与调度器实战全攻略

原创

已于 2025-06-29 17:10:23 修改 · 2.7k 阅读

于 2021-12-05 17:20:24 首次发布

文章目录

Hadoop进阶篇
- YARN：Hadoop资源调度系统

Hadoop进阶篇

YARN：Hadoop资源调度系统

在这里插入图片描述

什么是YARN

在这里插入图片描述

Apache Hadoop YARN(Yet Another Resource Negotiator)是Hadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入。
YARN 具有足够的通用性，客户支持其它分布式计算模式。

在这里插入图片描述

YARN架构剖析

类似于 HDFS，YARN 也是经典的主从（Master/Slave）架构。
YARN 服务有一个 ResourceManager（RM）和多个 NodeManager（NM）构成。
ResourceManager 为主节点(master)、NodeManager 为从节点(slave)

在这里插入图片描述

1. ResourceManager

ResourceManager（简称 RM）是 YARN 中主的角色，是一个全局的资源管理器，集群只有一个 active 的对外提供服务。
- 负责整个系统的资源管理和分配；
- 处理客户端请求；
- 启动/监控 ApplicationMaster；
- 监控 NodeManager、资源的分配与调度。
它主要由两个组件构成：
- 调度器（Scheduler）；
- 应用程序管理器（Applications Manager，简称 ASM）。
调度器 Scheduler：根据队列、容量等限制条件（如每个队列分配一定的资源，最多执行一定数量的作业等），将系统中的资源分配给各个正在运行的应用程序。需要注意的是，该调度器是一个“纯调度器”
- 它不从事任何与具体应用程序相关的工作，比如：不负责监控或者跟踪应用的执行状态等；
- 不负责重新启动因应用执行失败或者硬件故障而产生的失败任务，这些均交由应用程序相关的 ApplicationMaster 完成；
- 调度器根据各个应用程序的资源需求进行资源分配，而资源分配单位用一个抽象概念“资源容器”（Resource Container，简称Container）表示，Container 是一个动态资源分配单位，它将内存、CPU、磁盘、网络等资源封装在一起，从而限定每个任务使用的资源量。
应用程序管理器Applications Manager：主要负责管理整个系统中所有应用程序，接收 Job 的提交请求，为应用分配第一个 Container 来运行 ApplicationMaster
- 包括应用程序提交；
- 与调度器 Scheduler 协商资源以启动 ApplicationMaster；
- 监控 ApplicationMaster 运行状态并在失败时重新启动它等。

2. NodeManager

在这里插入图片描述

NodeManager 是YARN中的 slave角色：
- 当一个节点启动时，它会向 ResourceManager 进行注册并告知 ResourceManager 自己有多少资源可用；
- 每个计算节点，运行一个NodeManager进程，通过心跳（每秒 yarn.resourcemanager.nodemanagers.heartbeat-interval-ms ）上报节点的资源状态(磁盘，内存，cpu等使用信息)
功能：
- 接收及处理来自 ResourceManager 的命令请求，分配 Container 给应用的某个任务；
- NodeManager 监控本节点上的资源使用情况和各个 Container 的运行状态（cpu和内存等资源）；
- 负责监控并报告 Container 使用信息给 ResourceManager；
- 定时地向RM汇报以确保整个集群平稳运行，RM 通过收集每个 NodeManager 的报告信息来追踪整个集群健康状态的，而 NodeManager 负责监控自身的健康状态；
- 处理来自 ApplicationMaster 的请求；
- 管理着所在节点每个 Container 的生命周期。
管理每个节点上的日志：
- 在运行期，通过 NodeManager 和 ResourceManager 协同工作，这些信息会不断被更新并保障整个集群发挥出最佳状态；
- NodeManager 只负责管理自身的 Container，它并不知道运行在它上面应用的信息，负责管理应用信息的组件是 ApplicationMaster。

3. Container

Container 是 YARN 中的资源抽象，YARN以Container为单位分配资源。它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。当 AM 向 RM 申请资源时，RM 为 AM 返回的资源便是用 Container 表示的。
YARN 会为每个任务分配一个 Container，且该任务只能使用该 Container 中指定数量的资源。
Container 和集群NodeManager节点的关系是：
- 一个 NodeManager 节点可运行多个 Container，但一个 Container 不会跨节点；
- 任何一个 Job 或 Application 必须运行在一个或多个 Container 中；
- 在 Yarn 框架中，ResourceManager 只负责告诉 ApplicationMaster 哪些 Containers 可以用；ApplicationMaster 还需要去找 NodeManager 请求分配具体的 Container。
需要注意的是：
- Container 是一个动态资源划分单位，是根据应用程序的需求动态生成的；
- 目前为止，YARN 仅支持 CPU 和内存两种资源，且使用了轻量级资源隔离机制 Cgroups 进行资源隔离。
功能：
- 对 task 环境的抽象；
- 描述一系列信息；
- 任务运行资源的集合（cpu、内存、io等）；
- 任务运行环境。

4. ApplicationMaster

功能：
- 获得分片数据；
- 为应用程序申请资源并进一步分配给内部任务；
- 任务监控与容错；
- 负载协调来自 ResourceManager 的资源，并通过 NodeManager 监控容器的执行和资源使用情况。
ApplicationMaster 与 ResourceManager 之间的通信：
- 是整个 Yarn 应用从提交到运行的最核心部分，是 Yarn 对整个集群进行动态资源管理的根本步骤；
- application master周期性的向resourcemanager发送心跳，让rm确认appmaster的健康；
- Yarn 的动态性，就是来源于多个Application 的 ApplicationMaster 动态地和 ResourceManager 进行沟通，不断地申请、释放、再申请、再释放资源的过程。

5. JobHistoryServer

作业历史服务：记录在 yarn 中调度的作业历史运行情况，可以通过历史任务日志服务器来查看 hadoop 历史任务，出现错误都应该第一时间来查看日志。

配置开启历史服务 JobHistoryServer

第一步：修改mapred-site.xml 增加如下内容

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>node01:10020</value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node01:19888</value>
</property>

第二步：修改yarn-site.xml 增加如下内容

<!-- 开启日志聚合功能，将application运行时，每个container的日志聚合到一起，保存到文件系统，一般是HDFS -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 多长时间删除一次聚合产生的日志 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>2592000</value><!--30 day-->
</property>
<!-- 保留用户日志多少秒。只有日志聚合功能没有开启时yarn.log-aggregation-enable，才有效；现已开启 
<property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>604800</value>
</property>
-->
<!-- 指定聚合产生的日志的压缩算法 -->
<property>
    <name>yarn.nodemanager.log-aggregation.compression-type</name>
    <value>gz</value>
</property>
<!--  nodemanager本地文件存储目录  -->
<property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/bigdata/install/hadoop-3.1.4/hadoopDatas/yarn/local</value>
</property>
<!--  resourceManager  保存完成任务的最大个数  -->
<property>
    <name>yarn.resourcemanager.max-completed-applications</name>
    <value>1000</value>
</property>
<property>
    <name>yarn.log.server.url</name