flink程序设置kerberos认证——专业实用版

原创已于 2022-04-07 10:57:49 修改 · 5k 阅读

20 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

笔记

当前文章被收录于：

笔记

7 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

于 2021-02-19 13:11:16 首次发布

本文详细介绍了如何使用Flink on YARN提交程序，并重点讲解了Flink与Kerberos的整合，阐述了在Flink的RichSinkFunction中如何利用已有的Kerberos认证直接访问如Hive、HBase等组件，无需额外的认证操作。

flink程序提交命令

flink run -d -m yarn-cluster \
  -yD security.kerberos.login.keytab=/path/your/user.keytab \
  -yD security.kerberos.login.principal=your@HADOOP.COM \
  -c com.your.class.Name

flink on yarn认证原理

flink程序启动，自动将keytab文件自动上传hdfs，由yarn管理，分发给每个executor缓存token，定时刷新。
基于以上原理，当自定义RichSinkFunction里需要是使用基于kerberos认证的组件时，不需要再做认证操作。
比如：hive、hbase、kudu等等，直接建立连接就可以访问

标签

#flink #cloudera #hive #java #hbase

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

老山楂

关注关注

9
点赞
踩
20

收藏

觉得还不错? 一键收藏
16
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

flink写入带kerberos认证的kudu connector

03-24

flink写入带kerberos认证的kudu connector

【Flink】Flink 源码之安全认证 kerberos 认证

九师兄

01-16

4692

1.概述这篇文章转载：Flink 源码之安全认证非常巧合的是，我上周用了2-4天才完成flink安全认证，还是没有搜过，任何安全相关的代码，完成了。结果今天就看到了。本篇分析下Flink安全认证部分的处理方式。主要为Kerberos认证相关内容。下面从配置项开始分析。 2.SecurityConfiguration 此类包含了Flink安全认证相关的配置项。它们的含义如下： zookeeper.sasl.disable：是否启用Zookeeper SASL。 security.kerber.

16 条评论您还未登录，请先登录后发表或查看评论

Flink源码解析：大数据安全认证之Kerberos认证

CodeHeroicX的博客

08-20

637

通过理解Flink源码中的Kerberos认证实现，我们可以更好地配置和管理Flink集群的安全认证机制。以上是关于Flink源码解析：大数据安全认证之Kerberos认证的实现细节的详细文章，内容涵盖了相关的源代码。参数，该参数指定了用于Kerberos认证的keytab文件的路径。参数，该参数指定了Flink JobManager和TaskManager节点用于Kerberos认证的keytab文件的路径。在客户端配置中，Flink提供了一些用于Kerberos认证的参数。

【Flink】Flink跨集群访问开启Kerberos认证的Kafka

九师兄

07-30

3552

Flink提供了三个模块来对集群进行安全验证，分别是HadoopModule、JaasModule、ZooKeeperModule。安全认证相关参数对应的类SecurityOptions。HadoopModule用来对使用UserGroupInformation进行身份验证的框架（kudu、hbase同步框架、hdfs等）进行认证配置。JaasModule用来对使用JaasConfig进行身份验证的框架（kafka、zk、hbase异步框架等）进行认证配置。......

【FLinlk】Flink小坑之kerberos动态认证

九师兄

06-09

5721

1.概述转载并且补充：Flink小坑之kerberos动态认证 2.官网这段内容摘抄自官网：Kerberos Authentication Setup and Configuration 配置：Kerberos-based Authentication / Authorization Flink 通过 Kafka 连接器提供了一流的支持，可以对 Kerberos 配置的 Kafka 安装进行身份验证。只需在 flink-conf.yaml 中配置 Flink。像这样为 Kafka 启用 Kerbero

kerberos认证Flink的kafka connector和kafka client配置

lisacumt的专栏

08-04

4651

flink-connector-kafka 和 kafka client 在kerberos连接方式

Flink和Spark程序读写kafka的Kerberos认证

最新发布

Mrerlou的博客

09-25

1048

这里需要注意的是，由于kafka认证需要的keytab是在executor端，所以需要通过–files参数来提交keytab文件，自动分发到所有executor的工作目录里，所以sasl.jaas.config里只需要指定文件名称就可以，不需要把所有nodemanager节点都手动放一份keytab文件，有些同学不懂–files原理，经常干这事。然后，在consumer和producer的配置参数中使用sasl.jaas.config配置keytab认证。此处不再举例，可以参看以上Spark的配置。

flink集群消费kerberos认证的kafka

Sivan

01-11

4098

首先用单机的java代码去消费kerberos认证的kafka，已经跑通，主要用到的几个文件如下所示： 1.jaas文件 2.krb5.conf 3.keytab认证文件 4.还需要提供principle，我的是kafka/bigdata-4@EXAMPLE.COM 单机的先把程序跑通了以后，就开始进行flink的认证。首先需要修改flink配置文件flink-conf.yaml,修改这几项内容，然后把配置文件同步到整个集群，重启flink集群，内容如下 ..

深入理解Java GSS（含kerberos认证及在hadoop、flink案例场景举例）

阿甘兄

07-07

2618

深入理解Java GSS，实现kerberos认证的方式，以及在hadoop和flink场景的使用

深度解读flink kerberos认证（含流程图及源码）

阿甘兄

09-13

1683

超详细深度解读flink kerberos认证

Flink在开启kerberos认证环境中，使用hbase进行维表关联

wpf_ysztqx的博客

08-06

2600

Flink在开启kerberos认证环境中，使用hbase进行维表关联 1.简介近期在项目中用到了使用hbase做为维表，进行信息补充的一个需求，同时本公司的环境均开启了kerberos，遇到如下问题进行记录，同时分享完整kerberos认证步骤 2.环境介绍组件版本 flink 1.7.0 hdp 3.1.0.0 3.连接hbase的RichMap方法连接具有kerberos环境的hbase核心代码如下： public class HbaseRichMap

Flink访问Kerberos环境下的Hive

weibokong789的博客

05-29

4071

本文主要介绍如何使用Flink访问Kerberos环境下的Hive。测试环境 1.hive版本为2.1.1 2.flink版本为1.10.0 工程搭建使用IDE工具通过Maven创建一个Java工程，具体创建过程就不详细描述了。 1.在工程的pom.xml文件中增加如下依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifa

记录：Flink 的日志写入KafkaAppender（带kerberos认证下）

shi_xiansheng的博客

08-18

2012

1.Flink on yarn 的模式下，利用 log4j(log4j2) KafkaAppender 把日志直接打到 kafka（无kerberos认证）在 Flink 1.11.0 之前 Flink 使用的日志是 Log4j. 在 1.11.0 之后使用的是 Log4j2. 这两者的配置稍有不同： log4j 配置 (Flink 1.11.0 之前) #KafkaLog4jAppender 可能需要导入相关jar包 log4j.appender.kafka=or...

Flink源码解析：保障大数据安全的Kerberos认证

2301_79366177的博客

08-17

391

本文介绍了Flink源码中关于Kerberos认证的实现细节以及如何在Flink中配置和使用Kerberos认证。通过深入理解Flink源码中Kerberos认证的实现，我们可以更好地应用和定制Flink以满足实际生产环境中的安全需求。Flink作为一个开源的分布式大数据处理框架，提供了对Kerberos认证的支持。以上是本人对于Flink源码中安全认证Kerberos认证的一些研究和分析，仅供参考。在该配置中，我们指定了Kerberos认证所需的参数，包括keytab文件路径和Kerberos主体。

flink kerberos认证源码剖析

阿甘兄

09-07

1167

超详细讲解flink kerberos认证

03、Kerberos安全认证之配置和访问Kerberos安全认证的Hadoop集群学习笔记

每个人都是独一无二的，把握好自己的节奏，跟着自己的心走。

07-11

2977

03、Kerberos安全认证之配置和访问Kerberos安全认证的Hadoop集群学习笔记

Kerberos安全认证-连载9-访问Kerberos安全认证Hadoop

qq_32020645的博客

06-10

2198

当keberos客户端安装完成后自动会在C:\ProgramData\MIT\Kerberos5路径中创建krb5.ini配置文件，我们需要配置该文件指定Kerberos服务节点及域信息，配置如下，该文件配置可以参考Kerberos服务端/etc/krb5.conf文件。以上命令执行之后，在/root目录下会生成zhangsan.keytab文件，将该文件复制到IDEA项目中的resources资源目录中或者本地window固定的某个目录中，该文件用于编写代码时认证kerberos。

Flink读取HDFS上分的文本通过Kerberos认证

qq_32486597的博客

01-18

2577

Flink读取HDFS通过Kerberos

Flink通过Java API提交作业到keberos认证的Yarn

h6lkj的专栏

03-05

2237

Flink通过Java API提交作业到keberos认证的Yarn

基于cdh的flink程序7天认证失效

MyNameIsWangYi的博客

11-17

1768

集群开着kerberos认证的，如果开启着checkpoint，我们的State backend用的是hdfs，七天以后token会失效，到时候报错token失效，checkpoint是提交不到hdfs上的提交参数的时候设置一下： nohup flink run -yD security.kerberos.login.principal=<****> -yD security.kerberos.login.keytab=<keytab路径> -d -m yarn-cluster -