《大数据： Flume 自定义Sink》

目录1 预定义Sink1.1 基于控制台和文件的Sink2 自定义Sink2.1 MySQL3. Connectors3.1 JDBC3.2 Kafka3.2.1 pom依赖3.2.2 参数设置3.2.3 参数说明3.2.4 Kafka命令3.2.5 代码实现-Kafka Consumer3.2.6 代码实现-Kafka Producer3.3 Redis 1 预定义Sink 1.1 基于控制台和文件的Sink ⚫ API 1.ds.print 直接输出到控制台 2.ds.printToErr() 直接输

1）介绍 Sink不断地轮询Channel中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。 Sink是完全事务性的。在从Channel批量删除数据之前，每个Sink用Channel启动一个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent，Sink就利用Channel提交事务。事务一旦被提交，该Channel从自己的内部缓冲区删除事件。 Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、null、

Sink 是完全事务性的。在从Channel 批量删除数据之前，每个Sink用Channel启动一 个事务。批量事件一旦成功写出到存储系统或下一个Flume Agent，Sink就利用 Channel提交事务。事务一旦被提交，该Channel从自己的内部缓冲区删除事件。Sink 组件目的地包括hdfs、logger、avro、file、HBase、solr等。官方提供的 Sink 类型已经很多，但是有时候并不能满足实际开发当中的需求，此时我们就需要根据实际需求自定义某些Sink。

同时还由于本人没有学过Java,所以不想使用Java来书写自定义的Sink，所以这里所写的Sink所使用的编程语言是C++。注意替换相应部分为自己的内容，同时还有版本的问题存在，注意选择C++的编译版本，有些内容只有在新版本的C++里面存在，若是使用了旧版本的话就会出现错误。

Apache Flume是一个分布式、可靠且高可用的服务，专门用于高效收集、聚合和移动大量日志数据。作为数据流管道解决方案，Flume帮助开发者和运维人员构建稳定的大数据采集系统。本文将为你提供完整的Flume快速入门指南，让你在5个简单步骤内搭建第一个数据流管道！🚀 ## 为什么选择Apache Flume？ Apache Flume是一个强大的日志数据收集工具，具有以下核心优势： -

Flume Sink。Flume也提供了各种sink的实现，包括HDFS sink、Logger sink、Avro sink、File Roll sink、HBase sink，。​ Flume Sink在设置存储数据时，可以向文件系统中，数据库中，hadoop中储数据，在日志数据较少时，可以将数据存储在文件系中，并且设定一定的时间间隔保存数据，在日志数据较多时，可以将相应的日志数据存储到Hadoop中，便于日后进行相应的数据分析。

前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 场景描述 官方提供的sink类型已经很多，但是有时候并不能满足实际开发当中的需求，此时我们就需要根据实际需求自定义某些sink。 如：需要把接受到的数据按照规则进行过滤之后写入到某张mysql表中，所以此时需要我们自己实现MySQLSink。 自定义 Mysql Sink 步骤 1、根据官方说明自

Sink 不断地轮询 Channel 中的事件并批量地移除它们，随后将这些事件批量写入到存储或索引系统，或者发送到另一个 Flume Agent。Sink 是完全事务性的。在从 Channel 批量删除数据之前，每个 Sink 会用 Channel 启动一个事务。批量事件一旦成功写入到存储系统或下一个 Flume Agent，Sink 就利用 Channel 提交事务。事务一旦被提交，该 Channel 从自己的内部缓冲区删除事件。

上篇文章咱们基于Flume举了几个例子，包括它的扇入扇出等等。这篇文章我们主要来看一下怎样通过自定义Source和Sink来实现Flume的数据采集。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~

1、HDFS Sink 该sink把events写进Hadoop分布式文件系统（HDFS）。它目前支持创建文本和序列文件。它支持在两种文件类型压缩。文件可以基于数据的经过时间或者大小或者事件的数量周期性地滚动。它还通过属性（如时间戳或发生事件的机器）把数据划分为桶或区。 上述配置会将时间戳降到最后10分钟。例如，带有11:54:34 AM，June 12，2012时间戳的event将会造成...

Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的source类型已经很多，但是有时候并不能满足实际开发当中的需求，此时我们就需要根据实际需求自定义某些source。

Flume是Apache提供的分布式日志采集系统，具备高可用、高可靠性。其核心架构包括Source（数据接收）、Channel（缓冲区）和Sink（数据输出）三个组件。Source支持多种日志格式，如netcat、exec等；Channel分内存和文件两种类型，分别用于不同可靠性需求；Sink可将数据写入HDFS、HBase等存储系统。Flume以Event为数据传输单元，包含Header和Body两部分。安装过程包括解压、配置环境变量等步骤。通过入门案例演示了如何监控端口数据和实时采集Hive日志，展示了

Flume常用Source与Sink类型及参数 一、Source netcat tcp source【监听端口数据】常用属性: type: netcat bind: 监听哪个主机 port: 监听哪个端口 exec source【监听单个追加文件】常用属性: type: exec command: tail -F 文件路径 batchSize: 定义每批次采集多少数据, 必须<=事务容量大小 exec source的缺点:exec的tail

Apache Flume是一个分布式的、可靠的、高可用的系统，用于有效地收集、聚合和移动大量日志数据。通过这种方式，Flume可以从一个source接收数据，并通过一个channel将数据分发到多个sink，每个sink可以有不同的目的地或处理方式。假设我们有一个Flume agent，它需要从一个Source接收数据，并将这些数据同时发送到HDFS和另一个logger Sink。Flume的基本运行单位是Agent，一个独立的JVM进程，负责数据的采集、缓冲和传输。输入一些文本，然后按Enter键。

一般情况下面试大数据岗位的时候都会问到flume，我们之前也对flume进行过总结，不过时间太快了，转眼到了2020年。下面根据本人最新的flume相关面试并总结最准确的答案如下： 本文目录一、Flume的Source，Sink，Channel的作用？你们Source是什么类型？1.1、首先各组件的作用1.2、实际生产常用的Source类型为：二、你对Flume的Channel Selectors...

Flume系列：Flume Sink使用

（2）自定义MySink ，继承 AbstractSink 类并实现 Configurable 接口，并打包，将jar包放到/opt/module/flume-1.9.0/lib目录下。（3）在/opt/module/flume-1.9.0/job下创建文件夹group6，在该文件夹下创建配置文件netcat-flume-mysink.conf。process()//从 Channel 读取获取数据（event），这个方法将被循环调用。（1）创建一个 maven 项目，并引入以下pom依赖。

Flume 是 Apache Software Foundation（ASF）的一个项目，用于高可靠、可扩展的大数据日志收集、聚合和传输。它通常被用于将分布式的、大规模产生的数据从各种源头（如Web服务器、应用程序日志等）采集到数据存储和处理系统（如Hadoop）中。