Spark Streaming高级应用

最新推荐文章于 2025-09-22 01:30:03 发布
原创 最新推荐文章于 2025-09-22 01:30:03 发布 · 217 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文详细介绍了SparkStreaming如何与Flume和Kafka集成，包括Push和Pull两种方式对接Flume，以及SparkStreaming直接消费Kafka数据。Push方式中，Flume向Spark推送数据，而Pull方式则是Spark从Flume拉取数据。对于Kafka，Spark采用Direct方式，Executor直接读取数据参与计算。此外，还提到了SparkStreaming中的状态处理，如updateStateByKey。

Spark Streaming

StreamingContext流处理的入口

import org.apache.spark._
import org.apache.spark.streaming._
import org.apache.spark.streaming.StreamingContext._
val conf=new SparkConf().setMaster("local[2]").setAppName("streaming demo")
val ssc=new StreamingContext(conf,Seconds(8)) 
Seconds(8) 为批处理间隔时间

在这里插入图片描述

内建流式数据源

$nc -lk 9999  //数据服务器   ssc为StreamingContext对象
#Socket  
val lines = ssc.socketTextStream("single", 9999,StorageLevel.MEMORY_AND_DISK_SER_2)

#文件系统
val lines = ssc.textFileStream("hdfs://192.168.37.200:9000/kgc")

#Flume Sink
val ds = FlumeUtils.createPollingStream(streamCtx, [sink hostname], [sink port]);

#Kafka Consumer
val ds = KafkaUtils.createStream(streamCtx, zooKeeper, consumerGrp, topicMap);

Spark Streaming 集成 Flume

Spark Streaming 通过 Push 和 Pull 两种方式对接 Flume 数据源。Push 方式属于推送（由 Flume 向 Spark 推送）而 Pull 属于拉取（Spark 拉取 Flume 的输出）。Push 和 Pull 两者的差别主要体现在Flume Sink 的不同，而 Flume Source 与 Channel 不会受影响

//首先需要额外依赖下面组件：
<dependency>
 <groupId>org.apache.spark</groupId>
 <artifactId>spark-streaming-flume_2.11</artifactId>
 <version>2.4.4</version>
</dependency>

Push 方式

1、Push 方式在 Spark 端实现并打包

import org.apache.spark.SparkConf
import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream}
import org.apache.spark.streaming.flume.{FlumeUtils, SparkFlumeEvent}
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
  * 第一步: 编写Flume程序, 配置Avro sink
  * 第二步: pom中导入依赖包
  * 第三步: 编写Spark程序, 使用 FlumeUtils.createStream 配置数据源
  * 第四步: 打成jar包, 上传到集群, 使用spark-submit提交
  * 第五步: 启动Flume程序
  */
object Push {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setAppName(this.getClass.getName).setMaster("local[2]")
    val ssc = new StreamingContext(conf,Seconds(5))
    // 1.加载数据源
    val flumeStream: ReceiverInputDStream[SparkFlumeEvent] = FlumeUtils.createStream(ssc,"single",9999)
    val lines: DStream[String] = flumeStream.map(x=>new String(x.event.getBody.array()).trim)
    // 2.对数据进行处理[WordCount]
    val result: DStream[(String, Int)] = lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
    // 3.数据写出[print]
    result.print()
    // 4.启动程序
    ssc.start()
    ssc.awaitTermination()
  }
}

2、编写Flume配置文件avro.sink.conf，Flume 架构为：netcat->memory->avro

agent.sources = s1
agent.channels = c1
agent.sinks = sk1

agent.sources.s1.type = netcat
agent.sources.s1.bind = localhost
agent.sources.s1.port = 5678
agent.sources.s1.channels = c1

agent.sinks.sk1.type = avro
agent.sinks.sk1.hostname =single
agent.sinks.sk1.port = 9999
agent.sinks.sk1.channel = c1

agent.channels.c1.type = memory
agent.channels.c1.capacity = 1000

3、先启动Spark应用程序

spark-submit --class Spark_Streaming.Push SparkLearn-1.0.jar
//Spark_Streaming.Push  包名+类名
//SparkLearn-1.0.jar jar包名

4、再启动 Flume Agent

bin/flume-ng agent --name agent -f /root/avro.sink.conf -Dflume.root.logger=INFO,console

5.启动 nc 或者 Telnet 连接 Socket，向 Flume nectcat Source 发送数据，并在
Spark 流应用程序中观察结果

Pull 方式

当采用 Pull 方式时，Flume 架构为：netcat->memory->SparkSink。Sink 全类名为 org.apache.spark.streaming.flume.sink.SparkSink，在Flume 的配置文件中添加。还需要将以下组件放在$FLUME_HOME/lib 下，若存在相同jar包，可将之前的删除或者修改名称，避免jar包冲突
在这里插入图片描述

1.编写 Pull 方式获取 Input DStream 代码并打包

object Pull {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setAppName(this.getClass.getName).setMaster("local[4]")
    val ssc = new StreamingContext(conf,Seconds(5))
    val flumeStream=FlumeUtils.createPollingStream(ssc,"single",9999,StorageLevel.MEMORY_ONLY_SER_2)
    val lines: DStream[String] = flumeStream.map(x=>new String(x.event.getBody.array()).trim)
    // 2.对数据进行处理[WordCount]
    val result: DStream[(String, Int)] = lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)
    // 3.数据写出[print]
    result.print()
    // 4.启动程序
    ssc.start()
    ssc.awaitTermination()
  }
}

2.编写 Flume 配置文件sink_spark-pull.conf

agent.sources = s1
agent.channels = c1
agent.sinks = sk1

agent.sources.s1.type = netcat
agent.sources.s1.bind = localhost
agent.sources.s1.port = 5678
agent.sources.s1.channels = c1

agent.sinks.sk1.type = org.apache.spark.streaming.flume.sink.SparkSink
agent.sinks.sk1.hostname =single
agent.sinks.sk1.port = 9999
agent.sinks.sk1.channel = c1

agent.channels.c1.type = memory
agent.channels.c1.capacity = 1000

3.先启动 Flume Agent

bin/flume-ng agent --name agent -f /root/sink_spark-pull.conf -Dflume.root.logger=INFO,console

4.再启动 Spark 流应用程序

spark-submit --class Spark_Streaming.Pull SparkLearn-2.0.jar

5.启动 nc 或者 Telnet 连接 Socket，向 Flume nectcat Source 发送数据，并在
Spark 流应用程序中观察结果。

两种方式对比如下：

  1. 对第三方 jar 的依赖：Pull 方式时 Flume 需要调用 Spark 实现的 Sink，所以多依赖一个 spark-streaming-flume-sink，Flume 与 Spark 两边同时依赖。
  2. 启动顺序：Push 方式时 Flume 虽然不依赖 Spark，但 avro sink 需要一个 avro
    服务，这个服务应该先启动。所以 Spark 应先启动。而 Pull 则与之相反。

Spark Streaming 集成 Kafka

Direct 方式采用 Kafka 简单的 consumer api 方式来读取数据，此种方式不再需要专门 Receiver 来持续不断读取数据。当 batch 任务触发时，由 Executor 读取数据，并参与到其他 Executor 的数据计算过程中去。driver 来决定读取多少 offsets，并将 offsets 交由 checkpoints 来维护。将触发下次 batch 任务，再由 Executor 读取 Kafka 数据并计算。

import org.apache.spark.SparkConf
import org.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies}
import org.apache.spark.streaming.{Seconds, StreamingContext}

object kafka_spark {
  def main(args: Array[String]): Unit = {
    val conf: SparkConf = new SparkConf().setAppName(this.getClass.getName).setMaster("local[4]").set("spark.serializer","org.apache.spark.serializer.KryoSerializer")
    val ssc = new StreamingContext(conf, Seconds(5))
	ssc.checkpoint(".")
    val kafkaParams = Map(
          ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG->"192.168.37.210:9092",
          ConsumerConfig.GROUP_ID_CONFIG -> "test1",
          ConsumerConfig.MAX_POLL_RECORDS_CONFIG->"500",
          ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG->classOf[StringDeserializer],
          ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG->classOf[StringDeserializer],
          ConsumerConfig.AUTO_OFFSET_RESET_CONFIG->"earliest"
        )
    //LocationStrategies.PreferConsistent ：每个 Spark Executor作为一个Consumer，Executor与Kafka Partition一对一 。大多数情况下使用，主要是为了均匀分布。
    //ConsumerStrategies.Subscribe：允许订阅固定的主题集合
    val messages = KafkaUtils.createDirectStream[String, String](ssc,LocationStrategies.PreferConsistent,
      ConsumerStrategies.Subscribe[String, String](Set("test"),kafkaParams))
    messages.map(_.value()).flatMap(_.split(" ")).map(word => (word, 1))
      .reduceByKey(_+_).print()
    ssc.start()
    ssc.awaitTermination()
  }
}

Spark Streaming处理带状态的数据

DStream转换操作包括无状态转换和有状态转换,updateStateByKey属于有状态转换，可以跟踪状态的变化

object Spark_Streaming {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount")
    val ssc = new StreamingContext(sparkConf, Seconds(5))
    def updateFunction(currentValues: Seq[Int], preValues: Option[Int]): Option[Int] = {
      val curr = currentValues.sum
      val pre = preValues.getOrElse(0)
      Some(curr + pre)
    }
    ssc.checkpoint(".")
    val lines = ssc.socketTextStream("single", 9999)
    val result = lines.flatMap(_.split(" ")).map((_, 1))
    val state = result.updateStateByKey(updateFunction)
    state.print()
    ssc.start()
    ssc.awaitTermination()
  }
}
蒙奇D婵
关注
sparkstreaming-kafka开发的pom文件
07-06
2.10.5 1.6.2 2.4.3 1.2.0 的pom文件
IDEA使用Springboot整合SparkStreaming的环境搭建及pom.xml
WGBLW的博客
02-26 2099
Springboot整合SparkStreaming的环境搭建
sparkStreaming
kylin_xue的专栏
02-20 485
目录 核心概念 DStream Receiver Transformation Output Operation IDEA搭建SparkStreaming环境的pom文件 带状态的算子：UpdateStateByKey 基于window的统计 核心概念 SparkStreaming可以简单的理解为 StreamingContext将数据按照时间分为很多小的RDD，然后再交给Sp...
Spark Streaming的maven配置pom.xml
u013429010的博客
10-12 6359
不多说，直接查询相关的内容 https://mvnrepository.com/search?q=spark 我们可以看到很多常见的东西，spark-core,spark-sql,spark-streaming等等 点开这些链接进入到版本列表界面，选择自己需要的配置 spark-core spark-streaming 这里就不一一说明了，下面我直接列出一个已经测试成功的pom.xml &amp;amp;l...
sparkSQL-Sink
互联网知识分享
07-31 539
Sink是Spark SQL中用于将处理结果写入目标存储介质的操作。本文介绍了Sink操作的原理和使用方法，以及Hive和Parquet作为示例数据源的参数说明和示例代码。通过使用Sink操作，我们可以将处理过的数据写入到不同的数据源中，以供后续的查询和分析使用。同时，Spark SQL还提供了许多其他的Sink操作，以满足不同的数据存储需求。综上所述，Sink在Spark SQL。
sparkstreaming---pom.xml
羽翼天宇
02-17 1043
&lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.x...
Spark Streaming 进阶实战五个例子
justlpf的专栏
07-23 832
参考文章：Spark Streaming 进阶实战五个例子 一、带状态的算子：UpdateStateByKey 实现 计算 过去一段时间到当前时间 单词 出现的 频次 object StatefulWordCount { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[2]").setAppName("StatefulWordCount") val s...
Spark Streaming_第七章笔记
qq_45972323的博客
07-01 1262
asd
Spark Streaming 2：概述
lc_1123的博客
04-15 452
1. 简介 基于Spark的流式处理框架SparkStreaming接收Kafka、Flume、HDFS等各种来源的实时输入数据，进行处理后，处理结果保存在HDFS、Databases等各种地方SparkStreaming接收这些实时输入数据流，会将它们按批次划分，然后交给Spark引擎处理，生成按照批次划分的结果流SparkStreaming提供了表示连续数据流的、高度抽象的被称为离散流的
大数据Spark（四十四）：Structured Streaming概述
Lansonli（蓝深李）的博客
04-22 1924
Apache Spark在2016年的时候启动了Structured Streaming项目，一个基于Spark SQL的全新流计算引擎Structured Streaming，让用户像编写批处理程序一样简单地编写高性能的流处理程序。 Structured Streaming并不是对Spark Streaming的简单改进，而是吸取了在开发Spark SQL和Spark Streaming过程中的经验教训，以及Spark社区和Databricks众多客户的反馈，重新开发的全新流式引擎，致力于为批.....
实时分析物联网数据：Spark Streaming实战教程
最新发布
小程序开发
09-22 1088
我们模拟一个智能工厂的传感器数据实时监测系统数据输入：10台设备，每台每秒发送1条数据（温度、湿度、设备ID、时间戳）；实时计算：每5秒计算一次“过去10秒内每台设备的平均温度”；报警逻辑：如果平均温度超过80℃，将设备ID和温度存入Redis，并在控制台打印；可视化：用Grafana展示设备温度曲线和报警信息。物联网的价值不在于“连接多少设备”，而在于“从数据中提取多少价值”。Spark Streaming作为成熟的实时处理框架，用“微批处理”的方式平衡了实时性和吞吐量，完美适配物联网的需求。
Spark Streaming编程指南（四）
steanxy的专栏
07-10 471
缓存持久化 检查点 累加器广播变量和检查点 部署应用程序 监控应用程序
11、基于Spark Streaming和Structured Streaming的实时分析
q3r4s5t的博客
07-28 57
本文深入探讨了基于Spark Streaming和Structured Streaming的实时分析技术，详细介绍了实时处理的概念、架构和应用流程。对比了批处理与实时处理的差异，分析了Spark Streaming的优缺点及其与Structured Streaming的区别。内容涵盖输入源、输出存储、转换操作、状态管理、监控方法以及实际代码示例，帮助读者全面掌握实时数据分析的核心技术，并在实际项目中加以应用。
spark stream-Spark Streaming：大规模流式数据处理的新贵
莱布尼兹
02-24 534
  spark stream lineage ref:   Spark Streaming：大规模流式数据处理的新贵  
spark Streaming介绍及实例编写
香宝的私房小厨
07-30 1393
1，引用一段官网介绍 spark Streaming是Spark core API的扩展，支持实时数据流的处理，并且具有可扩展，高吞吐量，容错的特点。 数据可以从许多来源获取，如Kafka，Flume，Kinesis或TCP sockets，并且可以使用复杂的算法进行处理，这些算法使用诸如map，reduce，join和window等高级函数表示。 最后，处理后的数据可以推送到文件系统，数据库...
第93讲：Spark Streaming updateStateByKey案例实战和内幕源码
热门推荐
qq_21234493的博客
05-11 1万+
本节课程主要分二个部分： 一、Spark Streaming updateStateByKey案例实战 二、Spark Streaming updateStateByKey源码解密 第一部分： updateStateByKey它的主要功能是随着时间的流逝，在Spark Streaming中可以为每一个key可以通过CheckPoint来维护一份state状态，通过更新函数对该k
Spark Streaming（三）：DStream的transformation操作
liuxiangke0210的专栏
11-01 545
收藏链接：https://www.jb51.net/article/163065.htm 1、updateStateByKey 作用 可以让我们为每个key维护一份state，并持续不断的更新该state； 使用 1、首先，要定义一个state，可以是任意的数据类型； 2、其次，要定义state更新函数——指定一个函数如何使用之前state和新值来更新state； ...
Spark Streaming（下）--实时流计算Spark Streaming实战
hery_csnd168的博客
04-03 194
1、实例演示1.1流数据模拟器1.1.1流数据说明在实例演示中模拟实际情况，需要源源不断地接入流数据，为了在演示过程中更接近真实环境将定义流数据模拟器。该模拟器主要功能：通过Socket方式监听指定的端口号，当外部程序通过该端口连接并请求数据时，模拟器将定时将指定的文件数据随机获取发送给外部程序。1.1.2模拟器代码import java.io.{PrintWriter}import jav...
Spark Streaming学习
liuxiangke0210的专栏
09-18 569
原文链接：http://www.jianshu.com/p/a61732928945 以下内容主要基于Spark2.1.0版本的Spark Streaming内容学习得到。 还是先把Maven的依赖加入进去： https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.10 Ov
Spark编程基础4Spark Streaming、Spark MLlib
AthlenaA的博客
12-23 967
第7章 Spark Streaming 7.1 流计算概述 7.2 Spark Streaming 7.3 DStream操作概述 7.4 基本输入源 7.5 高级数据源 7.6 转换操作 7.7 输出操作 7.8 Structured Streaming 第8章 Spark MLlib ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值