Flink Postgres CDC 环境配置与验证

一、PostgreSQL 数据库核心配置

1. 启用逻辑解码（Logical Decoding）

PostgreSQL CDC 依赖逻辑解码功能获取增量变更，需在 postgresql.conf 中启用以下配置：

# 启用逻辑解码
wal_level = logical
# 保留日志天数（根据业务需求调整）
max_wal_senders = 10
wal_keep_segments = 32  # 每个段16MB，32段约512MB

修改后重启PostgreSQL服务使配置生效。

2. 创建逻辑解码槽（Replication Slot）

逻辑解码槽用于存储CDC读取位置，每个Flink作业需创建独立槽（避免冲突）：

-- 以postgres用户连接数据库
CREATE USER flinkuser WITH PASSWORD 'flinkpw';
GRANT CONNECT ON DATABASE postgres TO flinkuser;

-- 创建解码槽（使用decoderbufs插件，适用于9.4+版本）
-- 注意：槽名需唯一，建议按表或作业命名
SELECT pg_create_logical_replication_slot('flink_slot', 'decoderbufs');

-- 查看所有解码槽
SELECT * FROM pg_replication_slots;

3. 授予用户权限

-- 授予基本权限
GRANT SELECT, INSERT, UPDATE, DELETE ON ALL TABLES IN SCHEMA public TO flinkuser;
GRANT USAGE ON SCHEMA public TO flinkuser;
GRANT CREATE ON SCHEMA public TO flinkuser;

-- 授予复制权限（关键：读取WAL日志）
GRANT REPLICATION TO flinkuser;

-- 刷新权限
ALTER DEFAULT PRIVILEGES IN SCHEMA public GRANT SELECT ON TABLES TO flinkuser;

二、Flink 环境集成配置

1. 添加Maven依赖

<dependency>
    <groupId>com.ververica</groupId>
    <artifactId>flink-sql-connector-postgres-cdc</artifactId>
    <version>3.0.1</version>
    <scope