flink-connector中kafka和upsertkafka的介绍

标题: flink-connector中kafka和upsertkafka的介绍
日期: 2021-08-03 16:46:43
标签: [flink, kafka, upsert kafka, 实时数仓]
分类: 数据仓库

今天来说下flink sql中常用到的connector：kafka，它承接了实时的消息数据，进行处理，当然，这些消息的特点有可能不一样，怎样处理，得到实时的结果，提供给分析、运营、营销等等。下面来看看具体有什么区别，怎么使用。

kafka中的实时消息，它也可以是关系型数据库的changelog（具有insert/update/delete属性），我们知道每一条消息的属性之后，就可以确定哪些数据是最新的，哪些数据是被删除的，那么在我们的存储系统中，应该被实时地更新，以便计算的及时，数据的延时性就会更低。

他们俩的依赖都是一样的
依赖

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-kafka_2.11</artifactId>
  <version>1.12.3</version>
</dependency>