docker compose部署flink集群

原创 已于 2025-02-12 11:01:03 修改 · 1.4k 阅读 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
cknow-ai 现实、太残忍

cknow-ai 关注

分类：

云计算与devops

文章标签：

#docker #flink

于 2025-02-12 10:56:49 首次发布

本次部署2个jobmanager和3个taskmanager

一、部署zookeeper集群

flink使用zookeeper用作高可用

部署集群参考：docker compose部署zookeeper集群-CSDN博客

二、创建目录及配置文件

创建timezone文件，内容填写Asia/Shanghai

手动创建目录：data、conf、tmp、log

conf文件夹内容如下：

需要为每个节点单独准备配置文件，log4j和logback配置可以共用

这些配置文件，可以从官网下载flink包解压后获取，或启动flink容器后docker cp复制出来。

逐个修改flink-conf-xxx.yaml配置

以flink-conf-jobmanager1.yaml举例：配置如下

其他配置文件，根据各配置项的备注描述进行对应修改

三、创建docker compose文件

vim docker-compose.yaml

networks:
  net:
    external: true

services:
  jobmanager1:
    restart: always
    image: apache/flink:1.16.3
    container_name: jobmanager1
    hostname: jobmanager1
    ports:
     - '8081:8081'
    volumes:
      - /etc/localtime:/etc/localtime
      - /home/sumengnan/apache/flink/timezone:/etc/timezone
      - /home/sumengnan/apache/flink/conf/flink-conf-jobmanager1.yaml:/opt/flink/conf/flink-conf.yaml
      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties
      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml
      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties
      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml
      - /home/sumengnan/apache/flink/data:/opt/flink/data
      - /home/sumengnan/apache/flink/log:/opt/flink/log
      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp
    networks:
      - net
  jobmanager2:
    restart: always
    image: apache/flink:1.16.3
    container_name: jobmanager2
    hostname: jobmanager2
    ports:
     - '8082:8081'
    volumes:
      - /etc/localtime:/etc/localtime
      - /home/sumengnan/apache/flink/timezone:/etc/timezone
      - /home/sumengnan/apache/flink/conf/flink-conf-jobmanager2.yaml:/opt/flink/conf/flink-conf.yaml
      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties
      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml
      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties
      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml
      - /home/sumengnan/apache/flink/data:/opt/flink/data
      - /home/sumengnan/apache/flink/log:/opt/flink/log
      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp
    networks:
      - net
    depenes_on:
      - jobmanager1


  taskmanager1:
    restart: always
    image: apache/flink:1.16.3
    container_name: taskmanager1
    hostname: taskmanager1
    command: taskmanager
    volumes:
      - /etc/localtime:/etc/localtime
      - /home/sumengnan/apache/flink/timezone:/etc/timezone
      - /home/sumengnan/apache/flink/conf/flink-conf-taskmanager1.yaml:/opt/flink/conf/flink-conf.yaml
      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties
      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml
      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties
      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml
      - /home/sumengnan/apache/flink/data:/opt/flink/data
      - /home/sumengnan/apache/flink/log:/opt/flink/log
      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp
    networks:
      - net
    depenes_on:
      - jobmanager1
      - jobmanager2
  taskmanager2:
    restart: always
    image: apache/flink:1.16.3
    container_name: taskmanager2
    hostname: taskmanager2
    command: taskmanager
    volumes:
      - /etc/localtime:/etc/localtime
      - /home/sumengnan/apache/flink/timezone:/etc/timezone
      - /home/sumengnan/apache/flink/conf/flink-conf-taskmanager2.yaml:/opt/flink/conf/flink-conf.yaml
      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties
      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml
      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties
      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml
      - /home/sumengnan/apache/flink/data:/opt/flink/data
      - /home/sumengnan/apache/flink/log:/opt/flink/log
      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp
    networks:
      - net
    depenes_on:
      - jobmanager1
      - jobmanager2
  taskmanager3:
    restart: always
    image: apache/flink:1.16.3
    container_name: taskmanager3
    hostname: taskmanager3
    command: taskmanager
    volumes:
      - /etc/localtime:/etc/localtime
      - /home/sumengnan/apache/flink/timezone:/etc/timezone
      - /home/sumengnan/apache/flink/conf/flink-conf-taskmanager3.yaml:/opt/flink/conf/flink-conf.yaml
      - /home/sumengnan/apache/flink/conf/log4j.properties:/opt/flink/conf/log4j.properties
      - /home/sumengnan/apache/flink/conf/logback.xml:/opt/flink/conf/logback.xml
      - /home/sumengnan/apache/flink/conf/log4j-console.properties:/opt/flink/conf/log4j-console.properties
      - /home/sumengnan/apache/flink/conf/logback-console.xml:/opt/flink/conf/logback-console.xml
      - /home/sumengnan/apache/flink/data:/opt/flink/data
      - /home/sumengnan/apache/flink/log:/opt/flink/log
      - /home/sumengnan/apache/flink/tmp:/opt/flink/tmp
    networks:
      - net
    depenes_on:
      - jobmanager1
      - jobmanager2


 

 四、启动

五、访问

访问8081或8082jobmanager

 可以看出jobmanager与3个taskmanager工作正常

点赞 点赞 29
评论 0
书签 书签 28
docker 搭建 flink 并上传任务
不懂一休
02-23 1万+
1.16.0-scala_2.12-java8 镜像版本说明，flink 1.16.0，flink 内置 scala 版本 2.12，Java 版本 8。如下两个容器启动成功，可以看到 web 端口为 18081，taskmanager 启动一个，包含 5 个任务槽。如下：注意运行需要设置启动参数，否则启动会找不到类，因为 pom.xml 文件 flink 相关包都添加了。打包项目：可以在 pom.xml 修改启动类，也可以在命令启动或者 ui 界面上传设置启动类参数。下面代码用来统计单词出现的的次数。
flink集群(docker版)配置及使用
03-16 3147
的启用、存储方式、存储位置，在应用代码中配置，其中存储方式、存储位置，也可以在flink-conf.yaml文件中通过state.backend、state.checkpoints.dir参数配置全局参数，但应用代码中配置优先级更高。(3) Flink Checkpoint是Flink自身的系统行为，用户无法对其进行交互，用户可以在程序启动之前，设置好实时程序Checkpoint相关参数，当程序启动之后，剩下的就全交给Flink自行管理。Checkpoint是增量做的，每次的时间较短，数据量较小。
使用Docker快速部署Flink分布式集群
敏叔
03-03 3396
本文其实是介绍了最长见的两种使用docker的场景，一个是自己开发的程序如何用docker跑起来，第二是使用现成的容器更快速让我们入门。这两种方式在以后会经常碰到。
使用Docker搭建Flink集群
O_1CxH的博客
06-24 6091
学习大数据框架的时候，需要一个Flink集群环境。很多教程在搭建集群的时候使用的是Linux虚拟机，这样开销比较大；本文选择docker容器化部署的方式搭建。
Docker中部署Flink：快速部署调试各版本
jast
09-23 3927
通过本文介绍的步骤，你可以快速搭建并运行一个基于 Docker 的 Flink 集群。接下来，你可以根据需要调整 TaskManager 的数量、任务并行度等配置，以满足实际应用需求。
【Flink】Docker Compose一键部署Flink集群（Mac实战指南）
最新发布
weixin_29056865的博客
01-28 644
本文详细介绍了如何在Mac上使用Docker Compose一键部署Flink集群，包括环境准备、配置文件编写、集群启动与验证等步骤。通过Docker Compose，开发者可以快速搭建包含JobManager和TaskManager的完整Flink运行环境，大幅提升开发效率。文章还提供了常见问题排查和生产环境优化建议，帮助用户更好地应用Flink进行实时数据处理。
docker-compose部署flink集群，外部挂载flink配置
半岛落枫的博客
03-13 4321
flink集群部署 拉取flink镜像 docker pull flink 自定义创建目录（例如/usr/local/flink/flink-docker） mdkir /usr/local/flink/flink-docker 在上述目录，创建文件docker-compose.yml version: "2.1" services: jobmanager: image: flink expose: - "6123" ports: - "8
docker-compose 部署flink集群
debby
04-12 2188
docker-compose常用命令：https://blog.csdn.net/qq_42267173/article/details/124687804。解决参考：https://blog.csdn.net/xiojing825/article/details/79494408。docker-compose up -d 后台运行，这个一遍在生产环境使用。
docker-compose 部署 Flink集群
凯
03-22 446
【代码】docker-compose 部署 Flink集群。
flink docker-compose 配置
u013257767的博客
12-05 979
version: "2.1" services: jobmanager: image: flink expose: - "6123" ports: - "8081:8081" command: jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager - TZ=Asia/Shanghai deploy: resources:
基于docker安装flink
batman
05-09 1874
注意：当你在流式查询上使用这种模式时，Flink 会将结果持续的打印在当前的控制台上。如果流式查询的输入是有限数据集，那么 Flink 在处理完所有的输入数据之后，作业会自动停止，同时控制台上的打印也会自动停止。滚动窗口可以定义在事件时间（批处理、流处理）或处理时间（流处理）上。Tableau模式（tableau mode）更接近传统的数据库，会将执行的结果以制表的形式直接打在屏幕之上。表格模式（table mode）在内存中物化结果，并将结果用规则的分页表格的形式可视化展示出来。
docker安装flink
qq_33472553的博客
02-24 2013
安装flink + kafka
使用Docker部署Flink大数据
03-17 1278
redis整个项目的部署和工作环境如上图所示。由于 kafka 和 hbase 均需要 zookeeper 的支持，所以没有使用集成式的 hbase docker镜像，所以笔者自己基于 hbase 1.5.0 制作了一版镜像，由于 hbase 的 standlone模式端口会随机生成，故也搭建成了伪分布式，HMaster 和 HRegionserver均在同一个 Docker Container 中。
docker 安装flink；flink定位、运行
weixin_42357472的博客
06-25 6291
flink定位 flink：数据采集、提取 tensorflow：模型训练、部署 另：更原始数据数仓（收集：flume+kafka；入库：flink+clickhouse） 注意：docker pull *** 超时下载错误问题，更改国内源 win10 docker desktop再设置里更改 "registry-mirrors": [ "https://registry.docker-cn.com", "http://hub-mirror.c.163.com", "http
Docker下的Flink
qq_59975945的博客
02-23 1847
Flink中已经实现好了的数据源包括本地集合、文件、Kafka、Socket等。本地集合数据源适用于小规模数据集的测试和调试，可以直接将数据加载到内存中进行处理。文件数据源可以从本地文件系统或分布式文件系统（如HDFS）中读取数据，支持各种格式的文件，如文本文件、CSV文件等。Kafka数据源可以将数据从Kafka消息队列中读取，实现实时数据处理。Socket数据源可以从网络socket中读取数据，常用于接收实时数据流。此外，Flink还支持自定义数据源，开发者可以根据自己的需求实现自己的数据源逻辑。
docker搭建flink集群
javajy的博客
06-11 1320
注意：云服务器需要设置安全策略放行8081端口，否则访问失败。注意：docker-compose.yml文件同级目录执行。需要设置安全策略放行8081端口，否则访问失败。编写yaml配置文件。
最新 Flink 1.13 部署（Session、Per-Job、Application、HA、YARN）快速入门、详细教程
博文约礼
04-07 7526
Flink 部署;一、部署模式;1. 会话模式（Session Mode）;2. 单作业模式（Per-Job Mode）;3. 应用模式（Application Mode）;4. 对比;二、独立模式（Standalone）;1. 会话模式部署;2. 单作业模式部署;3. 应用模式部署;4. 高可用(High Availability );三、YARN 模式;1. 相关准备和配置;2. 会话模式部署;3. 单作业模式部署;4. 应用模式部署;5. 高可用
Docker中部署flink集群的两种方式
海为龙世界，云是鹤家乡
02-19 2209
本文将通过 2 种方式在 docker 中部署 flink standalone 集群，集群中共有 4 个节点，分别是 1 个 jobManager 节点和 3 个 taskManager 节点。方式一能快速部署一个 flink 集群，但是使用的是默认配置，不够灵活，方式二使用的是外置配置文件，可以灵活控制集群配置。
Flink会话集群docker-compose一键安装
core815的专栏
01-12 1258
参考，本人这篇博客：https://blog.csdn.net/taotao_guiwang/article/details/135508643?
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值