flink yarn-per-job作业提交

Flink的yarn-per-job提交 0.运行环境 Flink版本：Flink 1.13.0 集群环境：CDH6.3.2 新版本的Flink可以通过-t参数提交统一格式的任务，日常工作中通常使用Per-Job On Yarn模式提交任务 主要描述该部分的提交流程 1.提交任务 提交任务主要是通过./bin/flink run -t yarn-per-job完成 常用的提交指令如下 ./bin/flink run \ # 指定yarn的Per-job模式，-t等价于-Dexecution.target -

1.Flink四大组件 1.1 JobManager 作业管理器 控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager 所控制执行。 JobManager 会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（logical dataflow graph）和打包了所有的类、库和其它资源的JAR包。 JobManager 会把JobGraph转换成一个物理层面的数据流图，这个图被叫做“执行图”（ExecutionGraph），包含了所有

从总体上来说，在 Yarn 集群上使用 Session 模式提交 Flink 作业的过程分为 3 个阶段： - 首先在 Yarn 上启动 Flink Session 模式的集群； - 其次通过 Flink Client 提交作业； - 最后进行作业调度执行。

1、由脚本bin/flink 进入org.apache.flink.client.cli.CliFrontend CliFrontend main -> cli.parseAndRun -> run -> executeProgram -> ClientUtils.executeProgram -> program.invokeInteractiveModeForExecution() -> callMainMethod -> mainMethod.invoke

1. 启动集群 2. 作业提交 3. 作业调度

作业执行完毕后，Flink on yarn集群会被关闭。首先启动Flink Yarn Session，它是一个常驻与Yarn的Flink集群。在Yarn创建一个Flink集群，然后在提交任务客户端所在机器本地运行作业jar的main方法，提交生成的JobGraph到Flink集群的JobManager。每个作业都使用单独的Flink集群，它们消耗的资源是互相隔离的，一个作业的崩溃不会影响到其他作业。Flink作业提交的方式分为application模式，per-job模式和session模式。

文章目录1、yarn cluster 模式部署介绍2、flink session HA模式3、flink-per-job模式 该文章基于上一篇：Flink的local和standalone HA安装部署https://editor.csdn.net/md/?articleId=106155681 1、yarn cluster 模式部署介绍 mr和spark都可以基于yarn模式部署，flink也不例外，生产中很多也基于yarn模式部署。 flink的yarn模式部署也分为两种方式，一种是yarn-sessi

1、yarn cluster 模式部署介绍mr和spark都可以基于yarn模式部署，flink也不例外，生产中很多也基于yarn模式部署。flink的yarn模式部署也分为两种方式，一种是yarn-session，一种是yarn-per-job。大致如下图：2、flink session HA模式需要先启动集群，然后在提交作业，接着会向yarn申请一块资源空间后，资源永远保持不变。如果资源满了，...

1、yarn cluster 模式部署介绍 mr和spark都可以基于yarn模式部署，flink也不例外，生产中很多也基于yarn模式部署。 flink的yarn模式部署也分为两种方式，一种是yarn-session，一种是yarn-per-job。大致如下图： 2、flink session HA模式 需要先启动集群，然后在提交作业，接着会向yarn申请一块资源空间后，资源永远保持不变。如果资源满了，下一个作业就无法提交，只能等到yarn中的其中一个作业执行完成后，释放了资源，那下一个.

.Flink作业是如何提交到集群的？

一、Yarn session（一般测试环境） yarn session会初始启动指定的tm数量。 job提交后再指定的session 内运行。 其它job运行，如果资源不够，就会一直等待直到占用的job运行完毕释放资源。jm所有job共享 1 在任意几点启动yarn-session: 下述属性启动4个任务管理器。 每个任务管理器占用1024M内存，且每任务管理器分配2个SLO...

这里写目录标题1. 介绍2. Flink on yarn 任务提交流程3. 作业提交方式3.1 session 模式3.2 Per-Job 模式4. 提交任务的准备工作4.1 配置 hadoop classpath4.2 上传 Flink 安装包到服务器上5.使用 yarn-session 模式提交任务5.1 yarn-session 命令参数说明5.2 启动 yarn-session5.3 提交测试任务5.4 关闭 yarn 上的 flink 集群6.使用 Per-Job 模式 提交任务6.1 参数说

这课的学习我们基本上了解了flinkonline的一些基本原理，以及相应的一些集群的一些参数配置。通过本节课的学习，我们将去通过一些实际的一些操作，然后来去看flinkonyour的一个集群的具体的一个部署的一个流程。我们接下来看一下这个flinkon娅的一个集群的一个部署。这个的话其实，我们首先检查一下它的一个环境的一个要求。这个环境的一个要求的话是要求他要有hadoop版本的这样的一个2.4.1的以上。它要有HDFS的一个环境，以及hadoop相关的一些依赖包。这几个的话是我们需要在当前的

在flink on yarn模式中，flink yarn-session的两种提交方式 1.公用一个yarn-session 在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 2.每个job提供一个集群环境 下面以spark-session 案例，简单讲解： 启动运行环境： ...

*缺点：**每次递交作业都会申请资源，会影响执行效率，因为每次申请资源需要消耗时间。**优点：**不需要每次递交都申请资源，而是使用已经申请好的资源，从而提高执行效率。**缺点：**作业执行完成以后，不会释放资源，因此会一直占用系统资源。**应用场景：**适用作业递交比较频繁 的场景，小作业比较多的场景。**优点：**作业运行完成后，会立即释放资源，不会一直占用系统资源。**应用场景：**适用作业比较少的场景，大作业的场景。**特点：**每次递交作业都需要申请一次资源。

Yarn的ResourceManager启动TaskManager, TaskManager会启动一个TaskExecutor, 并向ResourceManager注册slot, ResourceManager收到TaskManager的请求之后会给TaskExecutor返回分配的slot, TaskExecutor给JobManager提供slot, JobManger向TaskExecutor提交执行。JobMaster: 是JobManager中最核心的组件。注: YarnClient: 客户端。

这种模式会预先在yarn或者或者k8s上启动一个flink集群，然后将任务提交到这个集群上，这种模式，集群中的任务使用相同的资源，如果某一个任务出现了问题导致整个集群挂掉，那就得重启集群中的所有任务，这样就会给集群造成很大的负面影响。通过以上两种模式的特点描述，可以看出，main方法都是在客户端执行，社区考虑到在客户端执行 main() 方法来获取 flink 运行时所需的依赖项，并生成 JobGraph，：所有作业共享集群资源，隔离性差，JM 负载瓶颈，main 方法在客户端执行。