运维必看！Kafka集群性能压测保姆级教程（建议收藏）

原创已于 2026-05-08 18:51:52 修改 · 559 阅读

6 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

于 2026-05-08 18:42:46 首次发布

做运维的都懂，小型公司里没有专门的测试工程师，很多“额外活”都得自己做。

其中，Kafka几乎是一个绕不开的消息中间件，它的性能直接决定了整个业务的稳定性，一旦出现吞吐不足、延迟过高，背锅的还是运维。今天就手把手教各位运维同学，从零开始完成Kafka集群压测，不用测试功底，跟着做就能出结果、找瓶颈、做优化！

测试工具与环境说明

本次性能压测使用官方自带工具kafka-producer-perf-test.sh

除了kafka-producer-perf-test.sh工具，我们还需要部署一个kafkamanger，用来监控kafka的吞吐流量

还需要使用Linux网络带宽监控工具 sar来监控网络带宽情况

sar -n DEV 2

写入性能压测

测试配置：

• 生产者数量：分别为10、15、20、25、30个• 测试命令：

nohup kafka/bin/kafka-producer-perf-test.sh --topic test4 --num-records 100000000 --record-size 1000 --throughput 200000 --producer-props bootstrap.servers=node49:9092,node51:9092,node52:9092,node53:9092,node54:9092,node55:9092,node57:9092,node58:9092 --producer.config ./producer.properties &

• 配置文件：producer.properties

compression.type=lz4
request.timeout.ms=10000
linger.ms=25
max.request.size=5242880
retries=0
batch.size=524288
buffer.memory=134217728
acks=1

各生产者数量测试结果

10个生产者

流量占用情况：

带宽：57835KB ≈ 56.5MB ≈ 451.6Mb/s

生产者吞吐：

吞吐率：169万条/秒

15个生产者

流量占用情况：

带宽：79678KB ≈ 77.8MB ≈ 622Mb/s

生产者吞吐：

吞吐率：265万条/秒

20个生产者

流量占用情况：

带宽：109494KB ≈ 106.9MB ≈ 855Mb/s

生产者吞吐：

吞吐率：366万条/秒

25个生产者

流量占用情况：

带宽：118917KB ≈ 116MB ≈ 929Mb/s

生产者吞吐：

吞吐率：410万条/秒

30个生产者

流量占用情况：

带宽：111780KB ≈ 109MB ≈ 872Mb/s

生产者吞吐：

吞吐率：399万条/秒

此时网络带宽已达上限，继续增加生产者会导致延迟上升、吞吐降低。

结论：千兆网卡客户端网络流量达到上限，Kafka集群生产吞吐峰值为 410万条/秒。

消费性能压测

测试配置：

• 生产者数量：分别为5、10、15、20个• 测试命令：

nohup kafka/bin/kafka-consumer-perf-test.sh --broker-list node49:9092,node51:9092,node52:9092,node53:9092,node54:9092,node55:9092,node57:9092,node58:9092 --topic test4  --messages 100000000 --threads 400000 --consumer.config ./consumer.properties --group=test10 &

• 配置文件：consumer.properties

group.id=test-consumer-group
fetch.min.bytes=6553600
fetch.max.wait.ms=1000
auto.commit.interval.ms=1000
auto.offset.reset=earliest
enable.auto.commit=true
max.poll.interval.ms=600000

各消费者数量测试结果

5个消费者

流量占用情况：