Flink Yarn配置

最新推荐文章于 2024-08-30 17:52:24 发布
原创 最新推荐文章于 2024-08-30 17:52:24 发布 · 2.3k 阅读 · 1
本文介绍了如何配置Flink在YARN上的运行，包括启动YARN session，提交Flink作业，设置环境变量YARN_CONF_DIR或HADOOP_CONF_DIR。在YARN session中，可以提交多个Flink作业，配置包括TaskManager的数量、内存大小和slots数量。此外，通过-D参数可动态修改配置。Flink作业可以从HDFS提交，并使用-yh查看命令选项。还可以启动Detached Session，以便在不保持客户端运行的情况下提交作业，此时需使用YARN命令停止Session。

需要配置YARN_CONF_DIR 或 HADOOP_CONF_DIR环境变量

启动一个YARN session

Start a long-running Flink cluster on YARN
然后便可以向集群提交作业。同一个Session中可以提交多个Flink作业

./bin/yarn-session.sh -n 2 -tm 1024 -s 2

上面命令启动了2个TaskManager，每个TaskManager内存为1G且占用了2个slots ,默认是1个slots

这里写图片描述

标签
#flink
最低0.47元/天 解锁文章
flink on yarn的会话模式中yarn-session.sh 参数
JustinMars的博客
07-19 1539
是 Apache Flink 在 YARN（Hadoop 的资源管理系统）上启动 Flink 会话（Session）的脚本。通过这个脚本，你可以在 YARN 上提交 Flink 任务，并在一个长时间运行的会话中执行多个作业。: 指定要在 YARN 上启动的 TaskManager 容器数量，也就是执行 Flink 任务的资源数量。: 指定 JobManager 容器的内存大小，以MB为单位。: 指定每个 TaskManager 容器的内存大小，以MB为单位。: 启动作业时可以指定特定的应用程序选项。
【Spark】【第三章】 Spark运行环境
weixin_43589563的博客
11-18 1768
本地模式 所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等，之前在IDEA中运行代码的环境我们称之为开发环境，不太一样。 1.解压缩文件 将spark-3.0.0-bin-hadoop3.2.tgz文件上传到Linux并解压缩，放置在指定位置，路径中不要包含中文或空格，课件后续如果涉及到解压缩操作，不再强调 tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module cd /opt/mod
Windows 运行spark on yarn HADOOP_CONF_DIR和YARN_CONF_DIR配置项无效
qq_65303368的博客
02-20 661
在conf/spark-env.sh文件中配置HADOOP_CONF_DIR和YARN_CONF_DIR后依然无法解决问题。在windows上运行spark on yarn出现。
Flink提交作业到yarn session集群main函数命令行参数传递
weixin_43525585的博客
12-18 3366
创建flink的yarn session集群 yarn-session.sh -n 3 -s 3 -nm flink-sessiontest -d -q yarn-session选项： -n,–container ：在yarn中启动container的个数，实质就是TaskManager的个数 -s,–slots ：每个TaskManager管理的Slot个数 -nm,–name :给当前的yarn-session(Flink集群)起一个名字 -d,–detached:后台独立模式启动，守护进程 -tm,
三、flink yarn模式部署
qq_38058332的博客
08-25 2928
1、该部署方式需要依赖Hadoop集群配置 hadoop集群配置传送门 启动Hadoop集群 ./start-all.sh 启动成功 2、配置YARN_CONF_DIR vi /etc/profile export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.6 export YARN_CONF_DIR=$HADOOPP_HOME/etc/hadoop 3、配置flink-conf.yaml cd /usr/local/flink 找...
Flink On Yarn模式配置
热门推荐
weixin_44378305的博客
10-18 1万+
Flink On Yarn模式配置Flink On Yarn模式配置引言一、安装JDK二、安装Hadoop三、安装Zookeeper四、安装Flink Flink On Yarn模式配置 引言 ​ Flink依靠Yarn来实现高可用，由于Yarn依赖于Hadoop，而Hadoop又依赖于Jdk。 ​ 准备三台机器 ​ 1.1.1.1 node1 ​ 1.1.1.2 node2 ​ 1.1.1.3 node3 一、安装JDK 1. 下载解压 tar -xvf jdk-8u271-linux-x64.tar
Flink on Yarn（HA配置）
lmalds的专栏
12-21 9555
Flink Yarn HA
Flink on Yarn配置
forrest420的专栏
01-09 3166
Flink1.9.1与Yarn（hadoop2.6.2）结合使用，将flink的任务运行在Yarn上。 配置环境变量 配置HADOOP_CLASSPATH export HADOOP_CLASSPATH=${HADOOP_HOME}/bin/hadoop classpath 配置  YARN_CONF_DIR or HADOOP_CONF_DIR export HADOOP_...
Flink on yarn参数配置
qq_31866793的博客
08-19 9585
在flink on yarn模式中，flink yarn-session的两种提交方式 1.公用一个yarn-session 在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。 2.每个job提供一个集群环境 下面以spark-session 案例，简单讲解： 启动运行环境： ...
Flink 集群部署 之 YARN配置（YARN Setup）
主要写大数据集群一线运维和学习工作经验
09-11 8663
目录 快速开始 在YARN上启用一个长连接Flink集群 在YARN上运行一个Flink任务 Flink YARN Session 启动Flink Session 提交Job到Flink 提交一个Flink job到YARN User jars & Classpath YARN上Flink任务的恢复行为 Debugging一个失败的YARN session 日志文件...
Flink Streaming Yarn flink-conf.yaml 配置参数
GavinKai
11-05 2701
配置参数 1.12.5 #============================================================================== # Common #============================================================================== # The external address of the host on which the JobManager runs and
Flink Yarn 模式高可用性配置
我是小坏
02-20 3322
Flink 版本1.7.2 目录 YARN群集高可用性 配置： 在运行高可用性YARN群集时，我们不会运行多个JobManager（ApplicationMaster）实例，而只会运行一个，由YARN在失败时重新启动。确切的行为取决于您使用的特定YARN版本。 配置： 最大 Application Master 尝试数量 (yarn-site.xml) 您必须配置为尝试appl...
flink on yarn搭建配置
勇往直前
12-24 1189
1 配置HADOOP_CONF_DIR 2 提交jar命令 Flink 1.11中加入的新模式，公共Jar包提前放置到HDFS，然后Client将运行作业需要的依赖都通过Yarn Local Resource传递到JM。 最重要的一点是JobGraph的生成以及Job的提交不再会在Client执行，而是转移到 JM 执行（也就是说Application的main()方法从Client转到JM执行），客户端不需要上传Jar了而只需要负责Job提交和管理，这样网络下载上传的负载也会分 ...
Flink配置Yarn日志聚合、配置历史日志。
myself_ning的博客
06-29 6802
yarn容器退出之后，默认是不保存日志的。所以需要开启JobHistoryServer. 无论Flink还是Spark都支持自建集群(standalone cluster)。但是为了保证稳定性和资源隔离等，生产环境里的任务最好借助资源管理框架(如Yarn)运行。 任务运行在yarn上，查询日志就可能不是很方便，尤其是任务进程异常退出之后。 ..................
Flink在YARN上的日志滚动配置
2301_79366435的博客
09-19 508
总结一下，Flink在YARN上的日志滚动配置是非常重要的一项设置，它能够帮助我们更好地管理和维护流处理应用程序的日志。通过对Flink的配置文件进行相应的修改，并在代码中启用滚动策略，我们可以轻松地实现日志滚动功能。当我们在使用Flink时，经常会遇到需要配置Flink在YARN上的日志滚动策略的情况。首先，我们需要在Flink的配置文件中指定日志的滚动策略。通过以上的配置和代码，我们就可以在Flink on YARN中实现日志滚动的功能了。这样可以使得日志文件更加整洁，方便我们对日志进行查阅和管理。
[Flink]flink1.13 on yarn的HA部署配置及测试
MyNameIsWangYi的博客
05-03 2933
目录1.安装包准备（需要的可以联系我）1.1 flink安装包1.2 zookeeper和Hadoop的安装1.3 flink on yarn需要的hadoop包2.解压并配置内容2.1 /etc/profile配置2.2 flink的配置3.启动3.1 先启动yarn-session3.2 flink的启动3.2.1 session方式启动demo3.2.2 per-job方式启动demo3.2.3 flink启动参数说明 1.安装包准备（需要的可以联系我） 1.1 flink安装包 本文用的是：flin
高可用Flink on YARN集群快速配置
LittleMagic's Blog
07-17 1178
我们长久以来一直使用Spark作为离线和近实时计算框架，几乎承担了主要业务中所有的计算任务。最近Flink逐渐兴起，我们通过查阅资料和参加Meetup，了解到Flink在实时计算方面确实比Spark有优势。我们正准备涉足实时业务，实时数仓、实时推荐这些东西总是要有的，快速上手Flink势在必行。 Flink的官方文档比较详尽，并且设计理念与Spark多有相通，理解成本...
flink on yarn Per-job模式High Availability 配置
yumingzhu1的博客
07-22 2449
背景：flink on yarn Per-job 模式下flink 程序会经常挂掉，直接原因是是对应节点上的 flink的 job manager 挂掉了，导致程序失败，flink的重启策略，只对于task manager生效 。 因此为保证稳定性，需要配置job manager 高可用。 实现方案 官方：当运行一个高可用的 YARN 集群时，我们不会运行多个 JobManager(ApplicationMaster) 实例，而是只运行一个，在失败时由 YARN 重新启动。确切的行为取决于您使用...
flink配置使用cdh集群yarn运行任务
最新发布
sixworld的博客
08-30 882
想要让 Flink 服务运行与 YARN 之上，首先需要让 Flink 能够发现 YARN 和 HDFS 的相关配置，因此，需要通过HADOOP_CLASSPATH、HADOOP_CONF_DIR 属性来指定 Hadoop 配置文件所在目录；1、解压（这里采用的参考文档的1.14.5版本，本人测试过1.17.0版本的flink，版本和cdh当前的cdh涉及的组件不匹配，除参考文章的scala，zookeeper版本也不匹配）将配置好的flink分发到其它两个节点（我的集群是三个节点）#操作hdfs的用户。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值