《大数据： Flume （Replicating Channel Selector）》

最新推荐文章于 2026-06-09 23:59:40 发布
原创 最新推荐文章于 2026-06-09 23:59:40 发布 · 433 阅读 · 0

一、Flume 复制 channel 选择器

  • ReplicatingSelector会将同一个Event发往所有的Channel，Multiplexing会根据相应的原则，将不同的Event发往不同的Channel
  • Replicating 是默认的选择器，当一个source使用此选择器选择多个channel时，source会将event在每个channel都复制一份
  • 向可选的channel写入event时，即便发生异常，也会忽略 （可选代表能发给我就发，发不了也没什么）

 

1. 组件选择

①.  Replicating Channel Selector

了解本专栏 订阅专栏 解锁全文
Flume【使用篇】05：多Channel之Replicating Channel Selector
weixin_40612128的博客
03-04 526
多Channel之Replicating Channel Selector
Flume(二十三)Selector
技术博客
08-08 377
这是Flume1.10.0版本开始提供的一种新的分发模式。节点收入数据之后，会根据数据中headers中的指定字段的值来决定将数据分发给哪一个Channel，所以此时各个节点的数据是不同的。Channel Selector本身是Source的子组件，决定了将数据的分发方式以及数据分发给哪一个Channel。节点收入数据之后，会将数据复制之后发送给每一个节点，所以此时每一个节点收到的数据都是完全相同的。比如根据数据不同发送到不同的节点，音乐的数据发送到一个节点，影片的数据发送到另一个节点。
保姆级教程：用Activiti7为你的若依项目打造可视化审批流程（前端BPMN.js+后端API）
weixin_30596735的博客
04-21 394
本文提供了一份详细的教程，指导如何利用Activiti7工作流引擎为若依项目构建可视化审批流程。内容涵盖前后端集成、BPMN.js设计器使用、流程部署与任务处理等核心环节，帮助开发者快速实现企业级审批系统。特别适合需要将工作流引擎与现有系统深度整合的技术团队。
Flume案例六：复制通道选择器(Replicating Channel Selector)
扛麻袋的少年的博客
06-24 924
Flume案例六：复制通道选择器(Replicating Channel Selector) 选型：  Flume-1：taildir source + memory channel + avro sink + Replicating Channel Selector(复制通道选择器)  Flume-1：avro source + memory channel + hdfs sink  Flume-1：avro source + memory channel + file roll sink(写入到本地文件
flume笔记（二）：事务/内部原理/拓扑结构-复制和多路复用/负载均衡和故障转移/聚合
qq_55906442的博客
09-25 796
产生的日志，处理起来也非常麻烦。配置1个netcat source和1个channel、1个sink group（2个sink），分别输送给flume-flume-console1和flume-flume-console2。配置一个接收文件的source和两个channel，两个sink，分别将数据发送给flume-flume-hdfs.conf和flume-flume-dir.conf。Flume-1与Flume-2将数据发送给hadoop03上的Flume-3，Flume-3将最终数据打印到控制台。
Flume 总结（六）selectors类型-1.9.0新版
xiaohu21的博客
10-10 376
5. interceptors
Flume个人心得笔记之Selector安装
LiuY521的博客
07-06 522
Flume个人心得笔记之Selector安装 目录 Flume个人心得笔记之Selector安装 一.复制模式 一、概述 二、 可配置选项说明 三、示例 二.多路复用模式 一、概述 二、可配置选项说明 三、示例 1.概述 2.配置第一个节点配置 3.启动 4.发送数据 5.接收数据 一.复制模式 ...
关于Flume中Chanel.Selector.header解释
weixin_33725239的博客
07-02 602
flume内置的ChannelSelector有两种，分别是Replicating和Multiplexing。 Replicating类型的ChannelSelector会针对每一个Event，拷贝到所有的Channel中，这是默认的ChannelSelector。 replicating类型的ChannelSelector例子如下 1 a1.sources = r1 2 a1.c...
flume三：flume Channel selector介绍
licw_0909的博客
12-18 927
flume默认提供以下Selectors： Replicating Channel Selector a1.sources = r1 a1.channels = c1 c2 c3 a1.sources.r1.selector.type = replicating a1.sources.r1.channels = c1 c2 c3 a1.sources.r1.selector.opt
flume 高级组件篇
2301_77331760的博客
04-10 501
flume 高级组件和案例
Flume 进阶使用【事务机制与多Agent级联实战】
最新发布
记录学习点滴，分享实战干货，一起奔赴技术之路
06-09 298
本文深入解析了Flume的事务机制、Agent内部处理流程及企业级拓扑架构，并通过多Agent级联实战案例展示其应用。主要内容包括： Flume事务机制：详细解析了Put和Take事务的工作流程，确保数据不丢失、不重复。 Agent内部原理：介绍了Channel Processor、拦截器、Channel选择器和Sink处理器等核心组件的作用与协作方式。 企业级拓扑结构：分析串联、复制/多路复用、负载均衡/故障转移和聚合四种典型架构及其适用场景。
余老师带你学习大数据框架全栈第十二章Flume第八节简单案例之Flume进阶--Flume Agent 内部原理
weixin_45810046的博客
02-08 258
4.2 Flume Agent 内部原理 1.source接收数据 2.封装事件，然后调用source里的channel processor获取channel。 3.将事件传递给拦截器（可有多个interceptor，形成拦截器链，实现拦截器的复用，更加灵活。拦截器与业务相关性高，那就尽量把条件写在一个里面。因为与业务相干性越高，提供复用的可能性越低。） 4.经过拦截器后又将数据返回，然后传给channel选择器。因为一个source可以绑定多个channel，如何绑定由channel选择器和选择策略控制
flume高级配置——数据流的复制、分流、负载均衡、故障转移
浅汐
10-11 638
一、在前面几篇文章中介绍过几种常见的flume pipeline 场景。我们在回顾一下，主要有一下几种： 1、多个 agent 顺序连接： 可以将多个Agent顺序连接起来，将最初的数据源经过收集，存储到最终的存储系统中。这是最简单的情况，一般情况下，应该控制这种顺序连接的Agent的数量，因为数据流经的路径变长了，如果不考虑failover的话，出现故障将影响整个Flow上的Agent收...
Flume (五) Channel Selectors
WuTing的专栏
07-26 674
Flume Channel Selectors， Replicating ，Multiplexing and Custom Channel Selector
大数据基础学习-5.Flume1.6.0
闲人勿
04-26 525
一、Flume1.6.0设计架构1.简介• Apache软件基金顶级项目• Apache Flume是一个分布式、可信任的弹性系统，用于高效收集、汇聚和移动大规模日志信息从多种不同的数据源到一个集中的数据存储中心（HDFS、HBase）。• 功能：    – 支持在日志系统中定制各类数据发送方，用于收集数据。    – Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。• 多...
Flume进阶
10-11 606
Flume Agent内部原理 1.Source对接数据源，负责封装Event； 2.然后发送给Channel Processor，Channel Processor调用事件拦截器链； 3.将每个事件给Channel Selector事件选择器，选择出要发送的事件； 4.将Channel Selector的结果写入相应的Channel； 5.若多个Sinks组从一个Channel中拉取数据，由SinkProcessor挑选Sinks组中的一个Sink去Channel中读取数据； 即一个时刻只能有
Flume二：复制（ChannelSelector之Replicating复制）
qq_22049773的博客
01-17 613
案例一：复制 agent1 : flume.conf（node2节点） #定义 a1.sources = r1 a1.channels = c1 c2 a1.sinks = k1 k2 #source a1.sources.r1.type = TAILDIR # 用于断点续传，文件中包含各个路径下各个文件当前读取到的偏移量 a1.sources.r1.positionFile ...
flume学习（五）：Flume Channel Selectors使用
热门推荐
xiao_jun_0820的专栏
07-25 2万+
前几篇文章只有一个app的日志，
Flume配置Replicating Channel Selector
02-22 400
1 官网内容 　　上面的配置是r1获取到的内容会同时复制到c1 c2 c3 三个channel里面 2 详细配置信息 　　 # Name the components on this agent a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 c2 # Describe/configure the...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HarkerYX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值