flume简单案例2 多个source一个sink

最新推荐文章于 2025-10-29 08:24:12 发布

原创最新推荐文章于 2025-10-29 08:24:12 发布 · 1.1w 阅读

5 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

flume

当前文章被收录于：

flume

3 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

本文介绍了一个使用Flume3进行日志文件实时收集的配置案例。配置包括定义数据源、接收器及内存通道，并设置每个组件的类型与参数。通过执行此配置，可以实现实时监测并收集多个日志文件的内容。

案例设计

flume3的配置文件

# Name the components on this agent
a1.sources = r1 r2 r3
a1.sinks = k1
a1.channels = c1
#
# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /application/flume/logs/access.log
 
a1.sources.r2.type = exec
a1.sources.r2.command = tail -F /application/flume/logs/uqc_head.log
 
a1.sources.r3.type = exec
a1.sources.r3.command = tail -F /application/flume/logs/uqc_tail.log
 
# Describe the sink
a1.sinks.k1.type = logger
 
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
 
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sources.r2.channels = c1
a1.sources.r3.channels = c1
 
a1.sinks.k1.channel = c1

验证
向日志文件中输入内容