参考社区实现 Flink1.11将聚合，update数据写入到kafka

最新推荐文章于 2026-06-15 10:53:27 发布

原创

最新推荐文章于 2026-06-15 10:53:27 发布 · 1.4k 阅读

标签

#聚合数据sink kafka #changelog案例 #Flink json案例

收录于

本文介绍了如何参考社区实现将Flink1.11中的聚合和更新数据写入Kafka。通过链接提供的社区文档，下载相关依赖，并观察changelog-json逻辑，发现其与canal-json相似。通过测试代码，可以在Kafka中查看到操作类型标记的数据记录，如`{"data":{"id":"pv","gmv":955},"op":"-U"}`和`{"data":{"id":"pv","gmv":955},"op":"+U"}`。" 89177553,7718103,深度学习图像分类技巧：Bag of Tricks,"['深度学习', '计算机视觉', '模型训练', '卷积神经网络', '图像识别']

1，快速链接社区文档：

https://github.com/ververica/flink-cdc-connectors

下载依赖包：

<dependency>
    <groupId>com.alibaba.ververica</groupId>
    <!-- add the dependency matching your database -->
    <artifactId>flink-connector-mysql-cdc</artifactId>
    <version>1.0.0</version>
</dependency>
<dependency>
    <groupId>com.alibaba.ververica</groupId>
    <!-- add the dependency matching your database -->
    <artifactId>flink-sql-connector-mysql-cdc</artifactId>
    <version>1.0.0</version>
</dependency>

<dependency>
    <groupId>com.alibaba.ververica</groupId>
    <!-- add the dependency matching your database -->
    <artifactId>flink-format-changelog-json</artifactId>
    <version>1.0.0</version>
</dependency>