ToB企服应用市场:ToB评测及商务社交产业平台

标题: 大数据学习之Flink，相识Flink的多种部署模式 [打印本页]

作者: 曹旭辉 时间: 2024-7-27 16:25
标题: 大数据学习之Flink，相识Flink的多种部署模式
目录
一、部署模式
1. 部署模式分类：
1.1 会话模式（Session Mode）：
优点：
缺点：
1.2 单作业模式（Per-Job Mode）：
优点：
缺点：
1.3 应用模式（Application Mode）：
2. 独立部署：
2.1 概念：
2.2 部署在会话模式下：
2.3 部署在单作业模式下：【Pass】
2.4 部署在应用模式下：
2.5 部署在高可用模式下：
3. YARN部署：
3.1 概念：
3.2 部署在会话模式下：
3.3 部署在单作业模式下：
3.4 部署在应用模式下：
3.5 部署在高可用模式下：

一、部署模式

1. 部署模式分类：

会话模式（Session Mode）
单作业模式（Per-Job Mode）（1.15版本已弃用）
应用模式（Application Mode）

他们三者的重要区别是集群的生命周期以及资源的分配方式不同以及程序实行的位置不同

1.1 会话模式（Session Mode）：

会话模式就是在作业提交之前通过启动集群并创建会话，我们通过这个会话提交使命，全部的使命都在这个会话里，这种方式的特点是集群启动的时候就已经确定了资源，并且后续提交的作业也都在这个会话中，会出现资源的竞争
优点：

集群启动时就已经创建了会话，资源也都是集群启动过程中确定的
全部提交的作业都在这个会话中，作业竣事就释放资源
缺点：

由于资源是共享的，所以当作业较多时就会产生资源竞争，资源不够了会导致作业提交失败
同一个TaskManager上可能运行了很多作业，如果一个作业导致TaskManager宕机，那么在这个TaskManager上的作业都会受到影响
1.2 单作业模式（Per-Job Mode）：

单作业模式是不同于会话模式的，单作业模式是需要依赖其他资源管理器来实现的，比如yarn、k8s等，由于会话模式是共享资源，为相识决这个问题，单作业模式为每一次提交的使命都创建一个集群，每个作业的资源都相互隔离，并且一个TaskManager宕机不会影响其他作业。
优点：

为每一个作业启动一个集群，因此不会存在共享资源的问题，作业之间的资源相互隔离发生故障时即使TaskManager宕机不会影响其他作业
缺点：

每一个作业启动一个集群，比较浪费资源 Flink本身无法直接如许运行，需要借助第三方资源管理器，比如YARN、K8S等 Flink1.15版本被标记为废弃，利用应用模式替换；链接：

1.3 应用模式（Application Mode）：

应用模式是对单作业模式的优化，不管是会话模式还是单作业模式，代码都是在客户端是举行实行的，然后由客户端提交给JobManager的，这种方式下客户端会比较耗资源，因为需要下载依赖和发送二进制文件到JobManager。
所以应用模式的办理办法就是不需要客户端了，直接把应用提交到JobManager上运行**，是直接由 JobManager 实行应用程序的，并且即使应用包含了多个作业，也只创建一个集群。
2. 独立部署：

Flink Standalone

2.1 概念：

独立部署由Flink举行资源的管理，也是最简单的部署方式，此模式是独立运行的，不依赖第三方资源管理平台，缺点是资源不足的情况下会出现故障，不会自动扩展大概动态分配资源，必须手动处理。
独立部署也分上面三种部署方式，分别是会话模式、单作业模式还是应用模式。生产情况不发起利用。

2.2 部署在会话模式下：

会话模式是不依赖第三方资源调度管理平台，因此直接解压flink安装包，然后实行start-cluster.sh 即可开启会话模式

2.3 部署在单作业模式下：【Pass】

Flink 本身无法直接以单作业方式启动集群，一般需要借助一些资
源管理平台。所以 Flink 的独立（Standalone）集群并不支持单作业模式部署。

2.4 部署在应用模式下：

应用模式的特点是不提前创建集群，所以不能利用start-cluster.sh举行启动，可以通过利用standalone-job.sh 这个启动下令来启动JobManager
1. bin/standalone-job.sh start --job-classname com.xxx.xxx.WordCount
复制代码
通过taskmanager.sh 启动TaskManager
1. bin/taskmanager.sh start
复制代码

2.5 部署在高可用模式下：

.

3. YARN部署：

Flink on yarn --> hadoop必须要配置好

3.1 概念：

YARN部署是指Flink的资源调度由YARN举行管理，需要依赖Hadoop的YARN管理器
在YARN模式下部署模式也分三种，分别是会话模式、单作业模式还是应用模式
客户端把 Flink 应用提交给 Yarn 的 ResourceManager,Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。
在这些容器上， Flink 会部署JobManager 和 TaskManager 的实例，从而启动集群。 Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配 TaskManager 资源
.

3.2 部署在会话模式下：

需要先申请一个YARN会话来启动Flink集群
1. # -nm test的意思是任务名
2. bin/yarn-session.sh -nm test
复制代码
其他参数说明：
-d：分离模式，如果你不想让 Flink YARN 客户端不停前台运行，可以利用这个参数，即使关掉当前对话窗口， YARN session 也可以后台运行。 -jm(–jobManagerMemory)：配置 JobManager 所需内存，默认单位 MB。 -nm(–name)：配置在 YARN UI 界面上表现的使定名。 -qu(–queue)：指定 YARN 队列名。 -tm(–taskManager)：配置每个 TaskManager 所利用内存。
YARN会话启动后会给出一个WebUI地点以及一个 YARN application ID 。在部署作业的时候可以通过WebUI部署也可以通事后台下令行部署。

3.3 部署在单作业模式下：

单作业模式是每提交一个使命就会生成单独的一个集群情况，因此我们开启单作业模式直接通过提交使命即可
- 启动作业：
  1. bin/flink run -d -t yarn-per-job -c com.szc.wc.StreamWordCount xxx.jar
  复制代码
- 查看作业：
  1. # 查看作业
  2. bin/flink list -t yarn-per-job -Dyarn.application.id=application_XXXX_YY
  复制代码
- 取消作业：
  1. # 取消作业
  2. bin/flink cancel -t yarn-per-job -Dyarn.application.id=application_XXXX_YY <jobId>
  复制代码
由于单作业模式是每个使命一个集群，因此取消某个作业就会使这个作业对应的集群也停掉。

3.4 部署在应用模式下：

应用模式和单作业模式雷同
- 启动作业：
  1. bin/flink run-application -t yarn-application -c com.szc.wc.StreamWordCount xxx.jar
  复制代码
- 查看作业：
  1. # 查看作业
  2. bin/flink list -t yarn-application -Dyarn.application.id=application_XXXX_YY
  复制代码
- 取消作业：
  1. # 取消作业
  2. bin/flink cancel -t yarn-application -Dyarn.application.id=application_XXXX_YY <jobId>
  复制代码

3.5 部署在高可用模式下：

YARN 模式的高可用和独立模式（Standalone）的高可用原理不一样。
Standalone 模式中, 同时启动多个 JobManager, 一个为“领导者”（leader），其他为“后备”（standby） , 当 leader 挂了, 其他的才会有一个成为 leader。
而 YARN 的高可用是只启动一个 Jobmanager, 当这个 Jobmanager 挂了之后, YARN 会再次启动一个, 所以实在是利用的 YARN 的重试次数来实现的高可用。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)