Flink获取kafka的offset

最新推荐文章于 2024-12-26 19:46:55 发布

原创

最新推荐文章于 2024-12-26 19:46:55 发布 · 1.9k 阅读

收录于

当前文章被以下社区和专栏收录：

本文探讨了如何在Flink处理Kafka数据时获取和管理offset。通过研究源码，作者发现SimpleStringSchema实现了DeserializationSchema，而关键在于KeyedDeserializationSchema接口。文章详细介绍了如何创建一个Kafka消息类并实现该接口，以及利用TypedKeyedDeserializationSchema进行操作。

前言

在工作的时候，一直想知道flink消费kafka的时候怎么去获取offset，以便有时候自己管理offset。在网上找了很多资料也没有找到。
研究源码，发现SimpleStringSchema主要是实现了DeserializationSchema，继续深入发现了KeyedDeserializationSchema这个接口。

实现方式

先写一个kafka的msg的类

import lombok.Data;

@Data
public class KafkaMsg {
     
     
    private String key;
    private String value;
    private String topic;
    private Integer partition;
    private Long offSet;

    public KafkaMsg(