Flink on yarn模式部署

原创 已于 2022-02-02 16:49:46 修改 · 3.2k 阅读 · 0
收录于
CDH和大数据组件

当前文章被收录于：

CDH和大数据组件
21 篇文章 2 人学习

CDH集群、及常用的hadoop生态大数据组件总结

订阅专栏 查看详情
于 2022-02-02 15:45:32 首次发布
本文档详细介绍了如何在Docker环境下基于CDH部署Flink on YARN，包括遇到的如缺少Hadoop依赖和JDK版本不兼容等异常的解决办法，以及调整YARN内存和固定Flink提交端口的步骤，并提供了启动WordCount示例。

目录

1. 基于docker部署cdh

2. 遇到的异常

2.1 flink下缺少hadoop相关依赖

2.2 jdk7造成的错误

3. 启动flink on yarn模式

3.1 调整yarn集群可用内存大小

3.2指定flink submit端口库，固定下来

4. 启动flink on yarn的wordcount例子

1. 基于docker部署cdh

基于Docker搭建CDH单机单节点集群_litlit023的专栏-CSDN博客

2. 遇到的异常

2.1 flink下缺少hadoop相关依赖

基于docker 部署cdn后，启动flink on yarn模式，报了以下错误

./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024
报了以下错误

Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException
        at java.lang
标签
#flink #yarn #java
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【云原生】Docker-compose部署flink
大壮
01-12 2053
Apache Flink的数据流编程模型在有限和无限数据集上提供单次事件（event-at-a-time）处理。在基础层面，Flink程序由流和转换组成。Apache Flink的API：有界或无界数据流的数据流API、用于有界数据集的数据集API、表API。[3]数据流的运行流程Flink程序在执行后被映射到流数据流，每个Flink数据流以一个或多个源（数据输入，例如消息队列或文件系统）开始，并以一个或多个接收器（数据输出，如消息队列、文件系统或数据库等）结束。
Flink on Yarn
代码人的自白
07-13 1930
Flink on Yarn 运行原理 第一种：内存集中管理模式 1.启动flink集群 client端需要配置环境变量： YARN_CONF_DIR HADOOP_CONF_DIR HADOOP_HOME 2 ./bin/yaen-session.sh -n 2 -jm 1024 -tm 1024 -d //-n 2 表示指定两个容器 // -jm 102...
别再只用CrossEntropy了！PyTorch实战Focal Loss解决样本不平衡（附完整代码）
最新发布
weixin_33739627的博客
05-29 406
本文深入探讨了PyTorch中Focal Loss的应用，解决样本不平衡问题。通过解析Focal Loss的核心机制、参数调优策略及实战代码，帮助开发者在图像分类等任务中有效提升模型对少数类的识别能力，避免交叉熵损失在极端不平衡数据下的失效问题。
DockerDesktop：使用docker-compose.yml搭建Flink集群
DreamLy1017的博客
03-17 1923
DockerDesktop使用docker-compose搭建Flink
第二十五节 Docker 部署 Flink on Yarn
weixin_40189744的博客
08-19 512
一、环境系统版本 centos7.6 docker版本 Docker version 20.10.10 准备文件： hadoop-3.3.1.tar.gz #hadoop安装包 hadoopfiles.tar.gz #hadoop内部各种配置文件 jdk1.8.0_201.tar.gz #安装ja...
Docker本地搭建Hadoop高可用,Hbase,Spark,Flink,Zookeeper集群
weixin_43272605的博客
04-02 4487
前期准备 #镜像拉取 docker pull centos7 #创建一个容器，作为基础容器，后期制作为镜像 docker run -it --name hadoopimages centos /bin/bash #将scala和jdk的包拷贝到容器里 docker cp scala-2.11.12.tgz hadoopimages:/ docker cp jdk-8u201-linux-x64.t...
Flink on yarn三种部署模式及区别
weixin_45322869的博客
03-07 1253
和。每种模式在等方面有不同的特点，适用于不同的场景。接下来详细介绍这三种部署模式及其适用场景。
Flink源码解析之：Flink On Yarn模式任务提交部署过程解析
大数据开发、JAVA开发、人工智能AI
12-31 2750
Flink源码解析之：Flink On Yarn模式任务提交部署过程解析
Flink on Yarn模式部署
陈小哥cw
06-17 8702
独立（Standalone）模式由 Flink 自身提供资源，无需其他框架，这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但我们知道，Flink 是大数据计算框架，不是资源调度框架，这并不是它的强项；所以还是应该让专业的框架做专业的事，和其他资源调度框架集成更靠谱。而在目前大数据生态中，国内应用最为广泛的资源管理平台就是 YARN 了。所以接下来介绍的是 YARN 平台上 Flink 是如何集成部署的。整体来说，YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的Resour
Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式
积跬步，至千里。
09-22 7074
Local模式、Standalone模式和FlinkonYARN模式是Flink的三种常见部署模式。
Flink（6）：Flink安装部署之Flink On Yarn模式
yang_shibiao的博客
06-30 5771
0. 相关文章链接 1. 原理 1.1. 为什么使用Flink On Yarn 在实际开发中，使用Flink时，更多的使用方式是Flink On Yarn模式，原因如下： Yarn的资源可以按需使用，提高集群的资源利用率 Yarn的任务有优先级，根据优先级运行作业 基于Yarn调度系统，能够自动化地处理各个角色的 Failover(容错) JobManager 进程和 TaskManager 进程都由 Yarn NodeManager 监控 如果 JobManager 进程异常退出，则 Ya
Flink系列之：Flink on YARN 支持的部署模式
zhengzaifeidelushang的博客
11-22 221
Flink系列之：Flink on YARN支持的部署模式
Flink on Yarn运行模式下三种部署模式的区别与联系
zby384的博客
01-05 1145
特性/模式集群共享性一个集群多个作业共享每个作业独立使用一个集群每个作业独立使用一个集群JobManager长期运行的 JobManager，多个作业共享一个 JobManager每个作业启动独立的 JobManager每个作业启动独立的 JobManager，JobManager 与 YARN 应用生命周期绑定作业数量支持多个作业，作业共享资源每个作业是独立的每个作业是独立的作业生命周期作业提交后，集群持续运行，直到手动停止作业完成后，集群会被销毁作业完成后，集群会被销毁代码解析位置。
flink on yarn集群部署模式
m0_73814022的博客
01-17 1875
介绍YARN 上部署的过程是：客户端把 Flink 应用提交给 Yarn 的ResourceManager, Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上，Flink 会部署JobManager 和 TaskManager 的实例，从而启动集群。Flink 会根据运行在 JobManger 上的作业所需要的 Slot 数量动态分配TaskManager 资源。集群部署模式分为1.会话模式2.单作业模式3.应用模式。
Flink-1.19.0源码详解-番外补充1-Flink on Yarn的三种部署模式解析
li72767的博客
05-14 1390
Flink on Yarn的三种部署模式解析
【大数据入门核心技术-Flink】（四）Flink安装部署-Flink On Yarn模式
08-29 741
Flink支持多种安装模式- Local—本地单机模式，学习测试时使用- Standalone—独立集群模式，Flink自带集群，开发测试环境使用- StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用- Flink On Yarn—计算资源统一由Hadoop YARN管理，生产环境使用本文主要演示Flink On Yarn模式的安装部署。
Flink On Yarn运行模式：会话模式部署、单作业模式部署、应用模式部署
学亮编程手记
10-31 2222
YARN上部署的过程是：客户端把Flink应用提交给Yarn的ResourceManager，Yarn的ResourceManager会向Yarn的NodeManager申请容器。在这些容器上，Flink会部署JobManager和TaskManager的实例，从而启动集群。Flink会根据运行在JobManger上的作业所需要的Slot数量动态分配TaskManager资源。
深入解析Flink on Yarn的3种部署模式：如何根据业务场景选择最优方案
play7的博客
02-14 949
本文深入解析Flink on Yarn的3种部署模式（Application Mode、Session-Cluster和Per-Job-Cluster），帮助开发者根据业务场景选择最优方案。通过对比资源隔离、启动延迟等关键指标，提供针对测试开发、短周期作业和长周期业务等不同场景的选型策略，并分享常见问题排查与优化建议，助力提升Flink作业的稳定性和资源利用率。
Flink on Yarn部署模式实战：如何选择最适合你的模式（附场景对比）
3c4x5z6v7b的博客
02-21 683
本文深入解析Flink on Yarn的三种部署模式（Application Mode、Session-Cluster和Per-Job-Cluster），通过架构原理、资源隔离机制和性能对比，帮助开发者根据业务场景选择最优方案。特别针对实时风控、数据科学实验和电商大屏等典型场景提供实战指南，并分享高级配置与调优技巧，提升Flink在Yarn环境下的稳定性和效率。
Flink on YARN的第三种部署模式：Application Mode
LittleMagic's Blog
09-23 6234
前言 短文状态继续。 长久以来，在YARN集群中部署Flink作业有两种模式，即Session Mode和Per-Job Mode，而在Flink 1.11版本中，又引入了第三种全新的模式：Application Mode。本文先回顾两种传统模式的做法与存在的问题，再简要介绍Application Mode。 传统部署模式 Session模式 Session模式是预分配资源的，也就是提前根据指定的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值