用户名
Email
论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
应用中心
帖子
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
账号登录
立即注册
找回密码
用户名
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
qidao123.com技术社区-IT企服评测·应用市场
»
论坛
›
数据库
›
Oracle
›
【Flink运行时架构】核心组件
【Flink运行时架构】核心组件
三尺非寒
论坛元老
|
2025-4-16 21:35:31
|
显示全部楼层
|
阅读模式
楼主
主题
2037
|
帖子
2037
|
积分
6111
在Flink的运行架构中,有两大比力紧张的组件:作业管理器(JobManager)和使命管理器(TaskManager)。
Flink的作业提交与使命处理时的系统如下图所示。
其中,客户端并不是处理系统的一部分,只是负责作业提交,在作业提交之后,可选择与JobManager断开连接。接下来,重点介绍一下JobManager和TaskManager在整个过程中所饰演的角色。
JobManager
JobManager是Flink集群中一个使命管理和调理的核心,是控制应用实行的主进程,每一个应用都应该被唯一的JM控制实行。在高可用的场景下,大概会出现多个JM,但是也只有一个正在运行的Leader节点,别的都是备用。JM又包含三个组件:JobMaster、ResourceManager、Dispatcher。
JobMaster
我们把对数据进行处理的操作统称为使命(task),多个使命按照一定的先后顺序连接起来,就构成了作业(job)。而JobMaster是负责处理单独的作业,因此JobMaster和详细的job是一一对应的。
也就是说,多个job是可以运行在一个Flink集群上的,而每一个job则都有一个自己的JobMaster。
JobMaster在吸取到客户端提交的应用后,会把作业图转换成一个物理层面的数据流图,也就是实行图,它包含了全部可以并发实行的使命。JobMaster会向资源管理器发出哀求,申请实行使命须要的资源,一旦获取了充足资源,就会将实行图分发到真正运行他们的TaskManager上。
ResourceManager
ResourceManager主要负责资源的分配和管理,在Flink集群中只有一个。这里的资源是指TaskManager的使命槽(slot),它包含了呆板用来实行盘算的一组CPU和内存。每个使命都需要被分配到一个使命槽中实行。
这里的ResourceManager其实是Flink内置的,注意和其他资源管理平台区分开,比如K8S、YARN等。
TaskManager中的使命槽都会向ResourceManager注册的,当ResourceManager没有充足的使命槽时,它可以向资源管理平台发起会话,哀求提供启动TaskManager进程的容器。
Dispatcher
Dispatcher主要负责提供一个REST接口,用来与集群进行交互和管理,负责为每一个新提交的作业启动一个新的JobMaser组件,以及启动一个WebUI用于展示和监控作业实行信息。
TaskManager
每个TaskManager都包含了一定数目的使命槽,使命槽是资源调理的最小单元,其数目限定了TaskManager能够并发处理的使命数目。
TaskManager启动之后,会向ResourceManager注册它的使命槽,收到指令后,TaskManager就会将一个或者多个使命槽提供给JobMaster用于分配使命的调用。
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
继续阅读请点击广告
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
举报
0 个回复
正序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
发新帖
回复
三尺非寒
论坛元老
这个人很懒什么都没写!
楼主热帖
Centos7安装Mysql5.7(超详细版) ...
微信小程序--点餐系统(本地服务器+源 ...
可观测性之两大误区
小白也可以轻松破解被加密的ZIP口令啦 ...
Java多线程超级详解(只看这篇就够了) ...
如何获取Class对象呢?
GPRS与4G网络:技术差异与应用选择 ...
快速入门python看过的一些资料 ...
Docker 基础 - 1
Spark简单介绍,Windows下安装Scala+Ha ...
标签云
国产数据库
集成商
AI
运维
CIO
存储
服务器
快速回复
返回顶部
返回列表