ToB企服应用市场:ToB评测及商务社交产业平台

标题: Hadoop YARN：现代大数据集群资源管理与作业调度 [打印本页]

作者: 不到断气不罢休 时间: 2025-1-6 21:29
标题: Hadoop YARN：现代大数据集群资源管理与作业调度
1.Yarn的概述

1.1.表明Yarn的定义和根本概念

        Hadoop YARN（Yet Another Resource Negotiator）是 Hadoop 2.x 版本引入的一种资源管理器，用于管理和调度大数据集群中的资源，是 Hadoop 集群的核心组件之一。YARN 的设计目标是提高 Hadoop 的资源利用率、灵活性和可伸缩性，使其能够处置惩罚更加复杂和多样化的工作负载。
1.2.概述 YARN 的起源和发展历程

        起源:在 Hadoop 1.x 版本中，资源管理和作业调度功能都由 JobTracker 负责，这种会合式的架构存在一些缺点，如扩展性差、单点故障等。因此，Google 发布的 MapReduce 论文以及大数据领域的发展需要促使了 Hadoop 社区寻求一种更灵活、更可扩展的资源管理框架。
        发展历程： 2012 年，Hadoop 2.x 版本正式发布，其中包含了 YARN 的实现。YARN 的引入为 Hadoop 提供了一个全新的资源管理和作业调度框架，使得 Hadoop 集群可以同时运行多个计算框架（如 MapReduce、Spark、Flink 等），并能够更灵活地处置惩罚差异范例的工作负载。
2.Yarn架构解析

2.1.具体介绍Yarn的体系结构和组件

        YARN 的根本思想是将资源管理和作业调度/监控的功能拆分为单独的守卫历程。这个想法是拥有一个全局 ResourceManager （RM）和每个应用程序的 ApplicationMaster （AM）。应用程序可以是单个作业，也可以是作业的 DAG。
        ResourceManager 和 NodeManager 构成了数据计算框架。ResourceManager 是在系统中的所有应用程序之间仲裁资源的最终权威机构。NodeManager 是负责容器的每机框架代理，监视其资源使用环境（cpu、内存、磁盘、网络），并将其报告给 ResourceManager/Scheduler。
        实际上，每个应用程序的 ApplicationMaster 是一个特定于框架的库，其任务是从 ResourceManager 协商资源，并与 NodeManager 合作来执行和监视任务。

2.2.解析ResourceManager、NodeManager、ApplicationMaster 等关键组件的作用和职责

2.2.1.ResourceManager

ResourceManager有两个紧张组件：Scheduler和ApplicationsManager。
2.2.1.1.Scheduler(调度程序):

        Scheduler复制将资源分配给各种正在运行的应用程序,这些应用程序受到熟悉的容量,队列等限制.调度程序是纯调度程序，因为它不对应用程序的状态执行监视或跟踪。别的，它不保证由于应用程序故障或硬件故障而重新启动失败的任务。调度程序根据应用程序的资源需求执行其调度功能;它基于资源容器的抽象概念，其中包含内存、CPU、磁盘、网络等元素。
Scheduler有一个可插拔策略，该策略负责在各种队列、应用程序等之间分别集群资源。当前的调度程序（如 CapacityScheduler 和 FairScheduler）将是插件的一些示例。
2.2.1.2.ApplicationsManager:

        负责接收作业提交,协商第一个容器以执行特定应用程序的ApplicationsMaster,并在失败时重新启动ApplicationsMaster容器。
2.2.2.NodeManager

NodeManager是每个节点上的代理，负责管理容器的生命周期,监控每个容器的资源使用环境(如cpu，内存，磁盘，网络)，并将这些信息报告给ResoutceManager。同时他还负责容器的启动，监视和停止。
2.2.3.ApplicationMaster

每个应用程序都有一个独立的ApplicationMaster，负责与ResourceManager协商资源分配,并与NodeManager合作执行和监控任务。ApplicationMaster还负责管理任务的执行和容错处置惩罚。
2.2.4.容器(Container)

容器是Yarn中的资源分配单元,每个容器包含一定量的资源(如内存,CPU等),用于运行应用程序的任务。Yarn根据资源需求和集群状态动态分配和管理容器。

3.作业调度

3.1.描述Yarn的作业调度流程

3.1.1.作业提交

客户端通过工具大概API将作业提交给Yarn的ResourceManager。提交作业时，客户端提供具体的作业具体，如作业设置（包罗作业范例、优先级、资源需求等）、数据输入输出路径、执行程序等。
RM为每个新提交的作业天生一个唯一的作业ID（JOB ID），用于标识该作业。此时作业状态为NEW；RM生存作业的具体信息和设置。作业状态更新为SUBMIT，表示作业已提交等待资源分配。
3.1.2.分配资源

RM将作业信息提供给Scheduler(调度器)，调度器检查客户端的权限，并检查作业所属的队列（默认时default queue）是否足够的资源。根据调度策略，调度器决定怎样分配资源。创建的调度器包罗CapacityScheduler、FairScheduler 等。作业状态更新为ACCEPT，表示作业已被担当。
RM分配第一个容器，启动作业的AM。AM是负责管理和和谐该作业的特定历程，处置惩罚作业的任务调度、监控和故障处置惩罚。
3.1.3.任务调度和资源分配

AM根据作业的需求和任务的并行度，向RM请求要更多的资源容器。资源请求包含所需的资源数目，位置配好（数据本地性）等。RM的scheduler基于集群资源使用环境，调度策略（如容量，优先级，数据本地性）等。
AM和RM协作将任务（如MapReduce中map或reduce任务）分配到已分配的容器执行。容器内的任务执行程序（如Yarn的TaskExecutor）启动并运行任务。作业状态为RUNNING。
3.1.4.任务监控和容错处置惩罚

        ApplicationMaster 监控每个任务的执行状态，包罗任务的启动、运行、成功或失败等。NodeManager 也监控容器的资源使用环境，并将信息报告给 ResourceManager。假如任务或容器失败，ApplicationMaster 负责重新调度失败的任务，重新请求资源并启动新的容器。ResourceManager 和 NodeManager 协作确保资源的有用使用和故障隔离。
3.1.5.任务完成

        当所有任务成功完成后，ApplicationMaster 向 ResourceManager 报告作业的完成状态。ApplicationMaster 清理所有的资源和暂时数据。假如JOB定期完成则JOB状态为FINISHED.假如运行过程中出现故障,JOB状态为FAILED.假如客户端KILL作业,此时JOB状态为KILLED.

4.资源管理

4.1.表明Yarn怎样管理集群中的计算资源和内存资源

设置项	设置	说明
yarn.scheduler.minimum-allocation-mb	1024	该设置表示每个容器的最小分配。因为RM是使用scheduler来进行资源调度的，假如请求的资源小于1G，也会设置为1G。这表示，假如我们请求一个256M的container，也会分配1G。
yarn.scheduler.maximum-allocation-mb	8192	最大分配的内存，假如比这个内存高，就会抛出InvalidResourceRequestException异常。这里也就意味着，最大请求的内存不要超过8G。上述截图显示是4G，是因为我在yarn-site.xml中设置了最大分配4G。
yarn.scheduler.minimum-allocation-vcores	1	同内存的最小分配
yarn.scheduler.maximum-allocation-vcores	4	同内存的最大分配

4.2.讨论资源的分配策略和调度算法

4.2.1.资源分配策略

Yarn采用容器（Container）作为资源分配的根本单元。每个容器由一定量的内容、cpu和其他资源构成。资源分配策略的紧张目标是优化资源的利用率、提高作业的吞吐量，并提供公平的资源分配。
Yarn使用容器来隔离差异作业和用户的资源使用，确保资源分配的公平性和隔离性。每个容器独立分配内存和CPU等资源，避免资源竞争导致的干扰。
        ApplicationMaster代表作业向ResourceManager提交资源请求，包含所需的资源数目、位置偏好等信息。ResourceManager基于这些请求，结合调度策略，为作业分配资源。
4.2.2.调度算法

4.2.2.1.容器调度器CapacityScheduler

        CapacityScheduler，它是hadoop的可插拔调度程序，它允很多租户安全地共享大型集群，以便在分配的容量约束下及时为其应用程序分配资源,同时最大限度地提高集群的吞吐量和利用率。其中心思想是hadoop集群中的可用资源在多个构造之间共享，各个构造也可以访问其他人未使用的任何多余容量。这以具有成本效益的方式构造提供了弹性。
跨构造共享集群需要对多租户的强大支持，因为每个构造都必须保证容器和安全措施，以确报共享集群不受单个流氓应用程序、用户或其集合的影响。容量调度提供了一组严格的限制，以确保单个应用程序、用户或队列不会消耗集群中不成比例的资源。容器调度器提供的紧张抽象是队列，它们通常由管理员设置，同时支持分层队列，以确保在答应其他队列使用空闲资源之前，在构造的子队列之间共享资源，从而实现让一个构造的应用程序之间共享空闲资源的特性。
我明白如下:
假设此时有4个作业其中以下是需要的资源分布：
作业A：资源1，资源3 作业B:资源2，资源4
作业C:资源3，资源5 作业D：资源4，资源6
可以看出来A和C同时需要资源3,而作业B和D同时需要资源4
1.客户提交作业A,B,C,D到RM。RM将这些作业分配到差异队列中（假设所有作业在同一队列，或根据分配到差异的队列）。
2.当作业A和C同时需要资源3时，容量调度器会根据其调度策略（如 FIFO 或权重等）来决定哪个作业优先获得资源3。假设现在作业A的优先级高于作业C，调度器大概会在资源3可用时优先分配给作业A。
3.此时的资源检查和分配如下：
作业A：需要资源1和资源3。假设资源1是可用的，因此作业A开始运行，同时资源3也被分配给它。
作业B：需要资源2和资源4。资源2和资源4都是可用的，因此作业B也可以开始运行。
作业C：需要资源3和资源5。然而，此时资源3已经被作业A占用，因此作业C需要等待资源3变得可用。
作业D：需要资源4和资源6，但资源4此时被作业B占用，因此作业D也需要等待。
4.当作业A和B完成其使用资源3和4的任务后，它会释放资源3。此时，容量调度器可以将资源3分配给作业C，资源4分配给作业D，使作业CD开始运行。
4.2.2.2.公平调度器FairScheduler

公平调度是一种将资源分配给应用程序的方法，如许，随着时间的流逝，所有应用程序均匀可获取获得相等的资源份额。Hadoop NetGen能够调度多种资源范例。默认环境下，公平调度程序仅基于内存来调度公平决策。可以使用Ghods等人开辟的“主导资源公平性”概念将其设置为与内存和CPU一起调度。当有一个应用程序运行时，该应用程序将使用整个集群。提交其他应用程序时，会将释放的资源分配给新应用程序，如许每个应用程序最终都获得大致雷同数目标资源。与构成应用程序队列的默认hadiio调度程序差异，这可让短时间的应用程序在合理的时间内完成，而不会饿死长寿命的应用程序。这也是在多个用户之间共享集群的一种合理方法。末了，公平共享也可以与应用程序优先级一起使用-优先级用作权重，以确定每个应用程序应该获得的总资源的比例。
        调度程序将应用程序进一步构造到“队列”中，并在这些队列之间公平地共享资源。默认环境下，所有用户共享一个名为“默认”的队列。假如应用明确在容器资源请求中列出了队列，则该请求将提交到该队列。也可以通过设置根据请求中包含的用户名分配队列。在每个队列中，使用调度策略在运行的应用程序之间共享资源。默认设置是基于内存的公平共享，但是也可以设置具有优势资源公平性的FIFO和多资源。队列可以按层次结构分列以分别资源，并可以设置权重以按特定比例共享集群。
        除提供公平共享外，公平调度程序还答应将保证的最小份额分配给队列，这对于确保某些用户，组或生产应用程序始终获得足够的资源很有用。当队列包含应用程序时，它至少获得其最小份额，但是当队列不需要其完全保证的份额时，多余的份额将在其他正在运行的应用程序之间分配。如许，当这些队列不包含应用程序时，调度程序就可以保证队列的容量，同时可以有用地利用资源。
        Fair Scheduler默认环境下答应所有应用程序运行，但是也可以通过设置文件限制每个用户和每个队列中正在运行的应用程序的数目。当用户必须一次提交数百个应用程序时，这很有用；大概，假如一次运行太多应用程序会导致创建过多的中间数据或进行过多的上下文切换，则通常可以提高性能。限制应用程序不会导致任何后续提交的应用程序失败，而只会在调度程序的队列中等待，直到某些用户的早期应用程序完成为止。
我明白如下:
一样的例子
作业A：资源1，资源3 作业B:资源2，资源4
作业C:资源3，资源5 作业D：资源4，资源6
1.客户端将作业A、B、C、D提交RM。RM根据设置将这些作业分配到差异池中。假设作业都在同一个池，大概根据设置到差异的池。
2.资源分配流程
作业A：需要资源1和资源3。FairScheduler会尝试均匀地分配资源。假如资源1和资源3可用，作业A开始运行。
作业B：需要资源2和资源4。同样，假如资源2和资源4可用，作业B开始运行。
作业C：需要资源3和资源5。假如资源3已经被作业A占用，而资源5可用，作业C会使用资源5，同时等待资源3的释放。
作业D：需要资源4和资源6。假如资源4已经被作业B占用，而资源6可用，作业D会使用资源6，同时等待资源4的释放。
3.假如某个作业需要更多资源而其他作业有剩余资源，FairScheduler 会动态调整资源分配。例如，假如作业 A 和 B 没有完全使用分配给他们的资源，可以将这些资源暂时分配给作业 C 和 D。在资源紧张的环境下，FairScheduler可以实行资源抢占，即高优先级或告急的作业可以抢占低优先级作业的资源。
4.当作业A完成其任务后，资源1和资源3被释放。FairScheduler会立刻将资源3分配给作业C，使作业C能够继续运行。同样，作业B完成后释放的资源2和资源4会被分配给其他需要的作业，如作业D。
5.Yarn与其他资源管理框架的比较

5.1.Yarn

最适合大数据处置惩罚任务，特别是在已经使用 Hadoop 生态系统的环境中。其成熟性和稳定性使得它成为传统数据处置惩罚的首选。
5.2.Mesos

       非常灵活的资源管理框架，适合需要在同一集群上运行多种框架和工作负载的场景。它的两级调度机制提供了更高的资源利用率。
5.3.Kubernetes

        是容器化和云原生应用的首选，特别适合需要高度主动化和灵活性的环境。它广泛的社区支持和生态系统使得它能够快速顺应各种需求。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)