10分钟上手kafka-ui：从零搭建监控面板

10分钟上手kafka-ui：从零搭建监控面板

【免费下载链接】kafka-ui provectus/kafka-ui: Kafka-UI 是一个用于管理和监控Apache Kafka集群的开源Web UI工具，提供诸如主题管理、消费者组查看、生产者测试等功能，便于对Kafka集群进行日常运维工作。 项目地址: https://gitcode.com/GitHub_Trending/ka/kafka-ui

引言：告别命令行地狱，可视化掌控Kafka集群

你是否还在为管理Kafka集群而频繁切换命令行工具？是否在面对海量主题和消费者组时感到无从下手？本文将带你在10分钟内从零搭建一个功能完备的Kafka监控面板，通过kafka-ui实现集群可视化管理，让你轻松掌握主题、消费者组和消息流的实时状态。

读完本文后，你将能够：

• 使用Docker Compose一键部署kafka-ui及依赖服务
• 配置多集群监控环境
• 实时查看Broker状态与性能指标
• 管理Kafka主题与消费者组
• 可视化浏览和发送消息

准备工作：环境与工具清单

硬件要求

• CPU: 至少2核
• 内存: 4GB以上
• 磁盘空间: 10GB空闲空间

软件依赖

工具	版本要求	作用
Docker	20.10+	容器化运行环境
Docker Compose	2.0+	编排多容器应用
Git	2.30+	克隆项目仓库

快速检查环境

# 检查Docker是否安装
docker --version

# 检查Docker Compose是否安装
docker compose version

# 检查Git是否安装
git --version

步骤一：获取kafka-ui项目代码

克隆仓库

git clone https://gitcode.com/GitHub_Trending/ka/kafka-ui.git
cd kafka-ui

项目结构概览

kafka-ui/
├── documentation/       # 项目文档
│   └── compose/         # Docker Compose配置文件
│       ├── kafka-ui.yaml       # 默认配置
│       └── kafka-ui-arm64.yaml # ARM架构配置
├── kafka-ui-api/        # 后端API服务
└── kafka-ui-react-app/  # 前端React应用

步骤二：启动kafka-ui服务集群

选择合适的Docker Compose配置

根据你的硬件架构选择对应的配置文件：

x86架构（大多数PC和服务器）

cd documentation/compose
docker compose -f kafka-ui.yaml up -d

ARM架构（如Mac M1/M2）

cd documentation/compose
docker compose -f kafka-ui-arm64.yaml up -d

配置文件解析

kafka-ui.yaml核心配置说明：

version: '2'
services:
  kafka-ui:
    container_name: kafka-ui
    image: provectuslabs/kafka-ui:latest
    ports:
      - 8080:8080  # Web UI访问端口
    environment:
      # 集群1配置
      KAFKA_CLUSTERS_0_NAME: local
      KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS: kafka0:29092
      KAFKA_CLUSTERS_0_SCHEMAREGISTRY: http://schemaregistry0:8085
      # 集群2配置
      KAFKA_CLUSTERS_1_NAME: secondLocal
      KAFKA_CLUSTERS_1_BOOTSTRAPSERVERS: kafka1:29092
      DYNAMIC_CONFIG_ENABLED: 'true'  # 启用动态配置

验证服务启动状态

# 查看运行中的容器
docker compose ps

# 检查kafka-ui日志
docker compose logs -f kafka-ui

成功启动后，你将看到类似以下日志：

kafka-ui  | 2023-09-06 12:39:14.000  INFO 1 --- [           main] o.s.b.w.embedded.tomcat.TomcatWebServer  : Tomcat started on port(s): 8080 (http) with context path ''
kafka-ui  | 2023-09-06 12:39:14.010  INFO 1 --- [           main] c.p.kafka.ui.KafkaUiApplication          : Started KafkaUiApplication in 12.345 seconds

步骤三：访问与初始化配置

打开kafka-ui界面

在浏览器中访问：http://localhost:8080

首次访问将显示集群列表页面，默认已配置两个集群：local和secondLocal

动态添加集群

如果需要监控现有Kafka集群，可通过界面添加：

1. 点击右上角"Add cluster"按钮
2. 填写集群信息：
   • Cluster Name: production
   • Bootstrap Servers: kafka-prod:9092
   • Schema Registry: http://schema-registry-prod:8081（可选）
3. 点击"Save"完成添加

步骤四：核心功能实战

1. 集群概览监控

Dashboard页面提供关键指标总览：

• 集群健康状态
• Broker数量与状态
• 主题总数与分区分布
• 消费者组活跃度

关键指标说明

指标	含义	健康阈值
Under Replicated Partitions	副本不足的分区数	0
Offline Partitions	离线分区数	0
Active Controllers	活跃控制器数量	1
Messages In Per Sec	每秒消息流入量	依业务而定

2. Broker管理

在"Brokers"页面可查看所有Broker详情：

• Broker ID与地址
• 分区分布
• 日志目录使用情况
• JMX指标监控

Broker详情页包含：

• 基本信息（版本、启动时间）
• 配置参数列表
• 性能指标图表（网络IO、请求速率）
• 日志目录状态

3. 主题管理

创建主题

1. 导航至"Topics"页面，点击"Create Topic"
2. 配置主题参数：

   Name: user-tracking-events
   Partitions: 6
   Replication Factor: 2
   Cleanup Policy: compact
   Retention Ms: 604800000 (7天)
   

3. 点击"Create"完成创建

主题详情页功能

• 分区与副本状态可视化
• 消息流量实时监控
• 配置参数管理
• 消费者组偏移量查看

4. 消费者组监控

在"Consumer Groups"页面可查看所有消费者组状态：

• 活跃消费者数量
• 订阅的主题列表
• 分区偏移量与滞后情况

关键功能：

• 重置消费者组偏移量
• 查看消费者实例详情
• 分析消费速率与滞后趋势

5. 消息浏览与发送

浏览消息

1. 选择主题进入详情页
2. 切换至"Messages"标签
3. 配置消息过滤条件：
   • 分区选择
   • 偏移量范围
   • 时间范围
4. 点击"Fetch Messages"获取消息

发送测试消息

1. 点击"Produce Message"按钮
2. 选择消息格式（JSON/Text/Avro）
3. 输入消息内容：

   {
     "userId": "12345",
     "action": "page_view",
     "timestamp": 1629260000000
   }
   

4. 点击"Send"发送消息

步骤五：高级配置与优化

多集群管理配置

修改kafka-ui.yaml添加更多集群：

environment:
  KAFKA_CLUSTERS_2_NAME: staging
  KAFKA_CLUSTERS_2_BOOTSTRAPSERVERS: kafka-staging:9092
  KAFKA_CLUSTERS_2_SCHEMAREGISTRY: http://schema-registry-staging:8081
  KAFKA_CLUSTERS_2_METRICS_PORT: 9999

重启服务使配置生效：

docker compose -f kafka-ui.yaml down
docker compose -f kafka-ui.yaml up -d

安全配置

启用基本认证

environment:
  AUTH_TYPE: LOGIN_PASSWORD
  SPRING_SECURITY_USER_NAME: admin
  SPRING_SECURITY_USER_PASSWORD: SecurePassword123!

配置SSL连接

environment:
  KAFKA_CLUSTERS_0_SECURITY_PROTOCOL: SSL
  KAFKA_CLUSTERS_0_SSL_TRUSTSTORE_LOCATION: /etc/ssl/truststore.jks
  KAFKA_CLUSTERS_0_SSL_TRUSTSTORE_PASSWORD: truststorepass

性能优化

调整JVM参数

environment:
  JAVA_OPTS: "-Xms512m -Xmx1g"

配置缓存大小

environment:
  CACHE_TOPICS_TTL: 300
  CACHE_CONSUMER_GROUPS_TTL: 60

常见问题解决

1. 服务启动失败

# 查看详细日志
docker compose logs kafka-ui

# 常见原因：端口冲突
# 解决：修改映射端口
ports:
  - 8081:8080  # 将8080端口映射到主机8081端口

2. 无法连接到Kafka集群

• 检查网络连通性：docker exec -it kafka-ui curl kafka0:29092
• 确认Kafka集群配置正确
• 检查防火墙规则

3. 界面响应缓慢

• 检查服务器资源使用情况：docker stats
• 增加JVM内存分配
• 调整缓存配置

总结与展望

通过本文的步骤，你已成功搭建了kafka-ui监控面板，并掌握了集群管理的核心功能。这个强大的工具将帮助你：

• 减少80%的命令行操作时间
• 实时掌握集群健康状态
• 快速定位和解决问题
• 简化Kafka日常运维工作

进阶学习路线

1. 深入了解kafka-ui的RBAC权限控制
2. 配置数据 masking 保护敏感信息
3. 集成Prometheus+Grafana实现高级监控
4. 开发自定义Serde插件处理特殊数据格式

下期预告

《Kafka性能调优实战：从指标监控到参数优化》

如果觉得本文对你有帮助，请点赞、收藏并关注，获取更多Kafka实战教程！

附录：常用命令参考

# 停止并删除容器
docker compose -f kafka-ui.yaml down

# 查看服务状态
docker compose -f kafka-ui.yaml ps

# 查看日志
docker compose -f kafka-ui.yaml logs -f kafka-ui

# 重启服务
docker compose -f kafka-ui.yaml restart kafka-ui

【免费下载链接】kafka-ui provectus/kafka-ui: Kafka-UI 是一个用于管理和监控Apache Kafka集群的开源Web UI工具，提供诸如主题管理、消费者组查看、生产者测试等功能，便于对Kafka集群进行日常运维工作。 项目地址: https://gitcode.com/GitHub_Trending/ka/kafka-ui