Kafka集群安装

最新推荐文章于 2026-05-07 09:31:33 发布

原创

最新推荐文章于 2026-05-07 09:31:33 发布 · 5.5k 阅读

收录于

当前文章被以下社区和专栏收录：

本文详细介绍了如何在集群环境中安装Kafka，包括上传解压Kafka安装包，修改配置文件，设置不同节点的broker.id，启动Zookeeper和Kafka，测试创建和删除topic，以及在Zookeeper中管理topic等步骤。

概览

1.上传解压
2.修改配置文件
3.分发到其他节点下
4.启动
5.测试
6.注意

准备

安装好Zookeeper
JDK版本:1.8.0_141
Kafka版本:kafka_2.12-1.1.0
工具:Xshell 5,Xftp 5

1.上传解压

首先在master(随意一台)的主机上的/usr下创建kafka文件夹作为安装路径

[root@master ~]# cd /usr/
[root@master usr]# ls
bin  etc  flume  games  hadoop  hbase  hive  include  java  lib  lib64  libexec  local  sbin  share  sqoop  src  tmp  zookeeper
[root@master usr]# mkdir kafka

然后利用Xftp将压缩包上传到/usr/kafka下并解压

[root@master usr]# cd kafka/

在这里插入图片描述

[root@master kafka]# ls
kafka_2.12-1.1.0.tgz
[root@master kafka]# tar -zxf kafka_2.12-1.1.0.tgz

2.修改配置文件

修改 /usr/kafka/kafka_2.12-1.1

标签

#Kafka

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

leanaoo

关注关注

0
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

# Kafka_深入探秘者（9）：kafka 集群管理

段子手168的博客

06-28

3216

# Kafka_深入探秘者（9）：kafka 集群管理第9章 01-集群概述第9章 02-集群搭建zookeeper 第9章 03-集群搭建kafka 第9章 03-集群同步总结

Kafka 在 Linux 下的集群配置和安装

J老熊

09-26

2108

本文详细介绍了在 Linux 环境中配置和安装 Kafka 集群的过程，包括每个配置项的说明和常见故障的排查方法。通过这些步骤，您可以轻松地构建一个可靠的 Kafka 集群，支持大规模数据流处理和实时数据传输。希望这篇文章能够帮助您顺利搭建和管理 Kafka 集群。

参与评论您还未登录，请先登录后发表或查看评论

Kafka学习笔记

weixin_30650859的博客

08-27

2023

本文转载来自：https://www.cnblogs.com/qingyunzong/p/9004703.html Kafka是Apache下的一个子项目，是一个高性能跨语言分布式发布/订阅消息队列系统,图展示了Kafka的相关术语以及之间的关系上图一个topic配置了3个partition。Partition1有两个offset：0和1。Partition2有4个offs...

kafka集群介绍

unschooledrat的博客

05-03

3077

Kafka 是最初由 Linkedin 公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于 Zookeeper 协调的分布式消息中间件系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景，比如基于 hadoop 的批处理系统、低延迟的实时系统、Spark/Flink 流式处理引擎，nginx 访问日志，消息服务等等，用 scala 语言编写，消费者组中的每个消费者，都会实时记录自己消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。

kafka 集群部署

最新发布

weixin_39966417的博客

05-07

865

在Kafka集群中，没有“中心主节点”的概念，集群中的所有节点都是对等的。Kafka是面向海量消息设计的，一个Topic下的消息会非常多，单机服务很难存得下来。维护集群元数据：Zookeeper负责维护Kafka集群的元数据，这包括broker的状态、topic的分区配置以及consumer group的消费状态等。总的来说，Zookeeper在Kafka集群中扮演了元数据存储、Broker管理、Leader选举以及集群配置管理等关键角色，是确保Kafka集群正常运行和高可用性的重要组成部分。

Kafka集群详解

技术人集结地

12-30

4467

Apache Kafka是一个开源流处理平台，由Scala和Java编写。它最初由LinkedIn公司开发，并于2011年初开源。Kafka是一个高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，Kafka是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

Kafka-快速实战

weixin_58482311的博客

12-10

1379

Kafka是面向海量消息设计的，一个Topic下的消息会非常多，单机服务很难存得下来。一个典型的MQ系统，会将消息消息由生产者发送到MQ进行排队，然后根据一定的顺序交由消息的消费者进行处理。最后：Kafka集群中的这些Broker信息，包括Partition的选举信息，都会保存在额外部署的Zookeeper集群当中，这样，kafka集群就不会因为某一些Broker服务崩溃而中断。Kafka的基础工作机制：消息发送者将消息发送到kafka上指定的topic，消息消费者从指定的topic上消费消息。

Kafka【三】Windows下安装Kafka集群

小小默：进无止境

08-28

1715

如果启动过程报错，主要是因为zookeeper和kafka的同步问题，请先执行cluster-clear.cmd文件，再执行cluster.cmd文件即可。集群启动命令后，会打开多个黑窗口，每一个窗口都是一个kafka服务，请不要关闭，一旦关闭，对应的kafka服务就停止了。因为kafka内置了ZooKeeper软件，所以此处将解压缩的文件作为ZooKeeper软件使用。将kafka1文件夹复制两份，改名为kafka2，kafka3。修改文件夹名为kafkazookeeper。

Kafka 集群安装

axibazZ的博客

09-30

2632

编辑config目录下的server.properties文件，在不同的节点只需要更改不同的host.name和broker.id。1. 将kafka安装包上传到服务器的/opt/apps目录下。5. 启动kafka（先启动zookeeper集群）二、安装zookeeper集群。到此kafka集群安装完毕。3. 创建kafka日志目录。4. 修改kafka配置。6. 测试生产和消费。

kafka集群安装

shuai的博客

09-06

938

在三台服务器上安装3个kafka服务，组成集群，先在一台服务器上安装好，然后复制到另外两台服务器上，修改配置即可

Kafka集群版安装部署

giser@2011的博客

05-12

3617

本文介绍了如何搭建Kafka集群，包括单节点多Broker部署和多节点多Broker部署。Kafka集群由Broker节点、Controller节点和混合节点构成，Broker负责消息存储和处理，Controller负责集群元数据管理。Kafka依赖ZooKeeper进行集群管理，本文详细描述了在CentOS 8.4、JDK 17、ZooKeeper 3.8.4环境下部署Kafka 2.7.2的步骤，包括ZooKeeper集群部署、Kafka安装、配置文件修改及服务启动。

安装Kafka集群

大头皮鞋的博客

04-28

2585

前提条件三台Linux虚拟机，这里Linux使用的是CentOS7 安装好zookeeper集群集群规划 node2 node3 node4 zk zk zk kafka kafka kafka 安装步骤下载下载安装包kafka_2.11-2.4.1.tgz，下载地址https://kafka.apache.org/downloads，将安装包上传到Linux 解压 [hadoop@node2 installfile]$

【Kafka】集群安装部署

2403_86969226的博客

11-08

1004

Kafka是由Apache软件基金会开发的开源流处理平台最初由LinkedIn(领英)公司发布，使用Scala语言编写，于2010年12月份开源，成为Apache的顶级项目，Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统‌，能够处理活跃live的所有动作流数据，如网页浏览、搜索等，作为消息队列中间件，在分布式系统中扮演着重要角色，通过异步处理提高系统性能，降低系统耦合性，实现系统解耦和流量削峰填谷‌。在大数据技术中，Kafka属于实时计算架构中的一员悍将！

docker安装 kafka集群

Java+GO+JS全栈工程师-鹤冲天的博客：编程辅导~商务合作~技术交流

01-05

6802

kafka是分布式的、基于发布/订阅模式的消息队列。本文使用docker安装 kafka集群

kafka linux下的集群安装

Bryan

04-21

2435

第一步.kafka 集群安装环境准备环境:CentOS6.5 集群环境: 192.168.139.130 master 192.168.139.131 node1 192.168.139.132 node2 zookeeper 版本:zookeeper-3.3.6.tar.gz kafka

Kafka之二：Kafka集群的安装

落落free的博客

05-17

575

Kafka之：Kafka集群的安装文章目录一、Kafka集群的安装二、Kafka命令行操作一、Kafka集群的安装 1.解压、删除、重命名 2.在kafka文件下建一个文件夹logs mkdir logs 3.修改配置文件 vim server.properties 参数解读：(修改***部分) *** #broker的全局唯一编号，不能重复 broke...

linux中Kafka集群的安装

qq_53983765的博客

11-08

1148

kafka安装步骤；kafka安装报错内存不足：Java HotSpot(TM) 64-Bit Server VM warning:INFO:os::commit_memory(0....) feiled;error=’Cannot allocate memory’(error=1，kafka创建topic报错：Exception in thread “mian” joptsimple.UnrecognizedOptionEception:partion is not a recognized option