解决flume整合kafka报错Attempt to heart beat failed since member id is not valid, reset it and try to re-jo

最新推荐文章于 2025-01-25 22:01:17 发布

原创最新推荐文章于 2025-01-25 22:01:17 发布 · 3k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

flume

当前文章被收录于：

flume

2 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文探讨了Flume监听Kafka时因未配置group.id导致的消费者组冲突问题。当多个Flume实例监听同一Kafka集群的不同topic时，若group.id相同，则会触发不必要的reblance行为，影响数据处理效率。文中详细介绍了如何通过设置不同的group.id来避免这一问题，确保数据流稳定传输。

报错情景:

由flume监听文件,分类发送到kafka的两个topic,再由两个flume(f1,f2)监听这两个topic,但是报错:
在这里插入图片描述

原因:

f1,f2监听kafak时,因为没有配置group.id,则f1,f2默认groupId都是"flume"
,f1,f2属于同一个消费者组(consumerGroup),同一个CG中如果订阅不同的topic,每一个consumer的上下线都会造成剩余所有的 consumer 产生 reblance 行为。

解决办法:

为两个flume配置不同的group.id即可:


a3.sources.s1.type=org.apache.flume.source.kafka.KafkaSource
a3.sources.s1.kafka.bootstrap.servers=h1:9092
a3.sources.s1.kafka.topics=topic_event
a3.sources.s1.kafka.consumer.group.id=group_event


a2.sources.s1.type=org.apache.flume.source.kafka.KafkaSource
a2.sources.s1.kafka.bootstrap.servers=h1:9092
a2.sources.s1.kafka.topics=topic_start
a2.sources.s1.kafka.consumer.group.id=group_start