Spark流编程指引(三)-------------------------------------初始化StreamingContext

最新推荐文章于 2021-02-22 02:07:17 发布

原创最新推荐文章于 2021-02-22 02:07:17 发布 · 7.1k 阅读

标签

#hadoop spark 大数据 #spark #分布式 #maven #batch

收录于

大数据专栏收录该内容

22 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了Spark Streaming的基本概念，包括如何在Maven或SBT项目中添加依赖，以及如何初始化StreamingContext。初始化时，需创建一个SparkConf对象并指定appName和master。批处理间隔、输入DStream的定义、流计算操作以及start、awaitTermination和stop方法的使用都是关键步骤。注意，一旦StreamingContext启动或停止，都无法进行反向操作，并且同一JVM上只能有一个 StreamingContext运行。

基本概念

接下来，我们在上一节例子的基础上，来阐述Spark Streaming的基本知识。

链接

和Spark类似，Spark Streaming也包含在maven的中央仓库中。为了写基于Spark Streaming的程序，你需要为你的SBT或Maven工程分别添加以下依懒:

Maven:

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.10</artifactId>
    <version>1.4.0</version>
</dependency>

SBT:

libraryDependencies +=

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

self-motivation

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

spark中streamingContext的使用详解

weixin_33851604的博客

07-25

1107

两种创建方式 val conf = new SparkConf().setAppName(appName).setMaster(master);val ssc = new StreamingContext(conf, Seconds(1));//通过conf对象创建 val sc = new SparkContext(conf)val ssc = new StreamingContext(sc...

Spark Streaming的基本数据流

weixin_53285092的博客

11-23

449

spark中的基本流数据类型

1 条评论您还未登录，请先登录后发表或查看评论

Spark Streaming之StreamingContext详解

威少（微笑）

06-30

2158

目录一：StreamingContext创建二：实现准实时计算业务三：StreamingContext使用注意事项一：StreamingContext创建（1）val conf = new SparkConf().setAppName(appName).setMaster(master); val ssc = new StreamingContext(conf, Sec...

Spark学习笔记：StreamingContext详解

lrxcmwy2的博客

09-14

1902

StreamingContext的创建及要点

spark-streaming快速入门

Luis的博客

01-21

374

1.Overview spark streaming是spark的一个拓展应用，对实时数据流进行：可拓展、高吞吐、可容错的流处理。数据可以从多个来源得到，比如：Kafka，Flume，Kinesis或者TCP socket，并提供高级别的函数诸如map,reduce,join和window这样复合的算法。最终处理后的数据可以通过文件系统、数据库和实时dashboards输出。还支持Spark...

Spark Streaming 初始化 StreamingContext

SmartSi

03-01

6085

为了初始化Spark Streaming程序，一个StreamingContext对象必需被创建，它是Spark Streaming所有流操作的主要入口。一个StreamingContext 对象可以用SparkConf对象创建。可以使用SparkConf对象创建JavaStreamingContext对象：SparkConf conf = new SparkConf().setAppName(

SparkStreaming之StreamingContext应用

zp17834994071的博客

09-04

1567

要初始化一个 Spark Streaming 程序，必须创建一个 StreamingContext 对象，该对象是 SparkStreaming 流处理的编程入口点。2.2版本SparkSession未整合StreamingContext，所以仍需单独创建。创建 StreamingContext 对象 Spark Streaming 初始化的主要工作是创建 Streaming Context 对象，通过创建函数的参数指明 Master Server，设定应用名称，指定 Spark Streaming 处理

Spark Streaming核心概念一（StreamingContext）

fengfengchen95的博客

05-25

971

一、StreamingContext初始化一个Spark Streaming程序时必须要创建StreamingContext作为程序的入口。example:import org.apache.spark._ import org.apache.spark.streaming._ import org.apache.spark.streaming.StreamingContext._ // not ...

5.Spark Streaming：StreamingContext详解

认知行动坚持

11-16

5028

StreamingContext详解（一）有两种创建StreamingContext的方式： val conf = new SparkConf().setAppName(appName).setMaster(master); val ssc = new StreamingContext(conf, Seconds(1)); StreamingContext，还可以使用已有的Spar

实时流处理学习（四）- SparkStreaming

victorzzzz的专栏

02-21

438

核心概念： (1) StreamingConext 通过StreamingContext可以做定义输入源等事情。 StreamingContext启动后不能重启一个StreamingContext只能存活在一个JVM中一个SparkContext可以用来创建多个StreamingContext (2) DStream(Discretiezed Streams) Spark...

使用SparkStreaming报错java.lang.ClassNotFoundException: org.apache.spark.streaming.StreamingContext解决方案

大屁孩的博客

08-28

3833

在使用sparkStreaming做实时数据分析时直接扼杀在摇篮中，报错找不到StreamingContext类：然而我的pom.xml中也导入了相应的依赖：解决方案问题就出在依赖的范围：<scope>provided</scope> 这表示编译和测试时有效，并且该jar包在运行时由服务器提供因此只需要将这一行去掉即可：附加 compile:默认值，适用于...

深入浅出Spark实时处理（一） --- Spark Streaming

杨鑫newlife的专栏

12-19

1179

一、Spark Streaming Spark Streaming 是核心Spark API的扩展，可以实现数据流的可伸缩，高吞吐量，容错流处理。可以接Kafka、Flume、Kinesis(亚马逊的流处理平台)，或者TCP sockets，并且可以使用复杂的高级函数（Map、Reduce、Join和Window）来处理数据。完成后可以讲数据发送到文件系统中、数据库、实时Dashboard。...

spark stream java_【Spark篇】---SparkStream初始与应用

weixin_34254083的博客

02-22

602

一、前述SparkStreaming是流式处理框架，是Spark API的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka, Flume, Twitter, ZeroMQ或者TCP sockets，并且可以使用高级功能的复杂算子来处理流数据。例如：map,reduce,join,window 。最终，处理后的数据可以存放在文件系统，数据库等，方便实时展现。二、Sp...

Spark Streaming 进阶实战五个例子

justlpf的专栏

07-23

826

参考文章：Spark Streaming 进阶实战五个例子一、带状态的算子：UpdateStateByKey 实现计算过去一段时间到当前时间单词出现的频次 object StatefulWordCount { def main(args: Array[String]): Unit = { val sparkConf = new SparkConf().setMaster("local[2]").setAppName("StatefulWordCount") val s...

Spark StreamingContext创建方式

鸭梨的博客

01-28

619

方式1 //get a conf object val conf = new SparkConf().setAppName("SparkStreamWordcount").setMaster("local[2]") val duration: Duration = Seconds.apply(10) //获取StreamingContext val ssc = new StreamingContext(conf, duration) val dstream: ReceiverInput

StreamingContext

Drug discovery

08-21

8164

Initializing StreamingContext To initialize a Spark Streaming program, a StreamingContext object has to be created which is the main entry point of all Spark Streaming functionality. A StreamingContext object can be created from a SparkConf object. val con

Spark Streaming之一：StreamingContext解析

Spark MLlib 机器学习

01-21

7549

1.0 前言目前Spark Streaming编程指南地址： http://spark.apache.org/docs/latest/streaming-programming-guide.html 1.1 创建StreamingContext对象 1.1.1通过SparkContext创建源码如下： def this(sparkContext:SparkCon

第一章：Spark Streaming 实时计算

08-17

1.Spark Streaming：大数据实时计算介绍2.Spark Streaming：DStream基本工作原理3.Spark Streaming：StreamingContext详解技能点4.Spark Streaming：输入DStream和Receiver详解5.Spark Streaming：DStream的transformation操作概览

Spark Streaming入门-编程入口JavaStreamingContext的实例化，构造方法汇总

小哇

08-12

1561

代码示例1 SparkConf sparkConf = new SparkConf() .setAppName("spark-test-1") .setMaster("local[2]"); JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, Durations.seconds(4)); ssc.sparkContext().setLogLe...