Spark笔记四之RDD处理过程

最新推荐文章于 2024-11-20 09:10:43 发布
原创 最新推荐文章于 2024-11-20 09:10:43 发布 · 2.1k 阅读 · 1
本文详细介绍了Spark的任务调度过程，包括RDD对象的准备、DAG调度、TaskScheduler分配和Worker执行。同时，深入探讨了Task的执行过程，包括shuffleMapTask和resultTask的区别。此外，还讲解了Spark的缓存策略，如MEMORY_ONLY和checkpoint检查点的使用，以及它们在数据持久化中的作用。
Spark任务调度

Spark的任务调度分为四步

1RDD objects

  RDD的准备阶段，组织RDD及RDD的依赖关系生成大概的RDD的DAG图，DAG图是有向环图。

 

2DAG scheduler

         细分RDD中partition的依赖关系确定那些是宽依赖那些是窄依赖，生成更详细的DAG图，将DAG图封装成 TaskSet任务集合当触发计算时(执行action型算子)将其提交给集群。

 

3TaskScheduler

         接收TaskSet任务集，分析确定那个task对应那个worker并将其发送给worker执行。

 

4worker执行阶段

         接收task任务，通过spark的block管理器blockManager从集群节点上获取对应的block上的数据，启动executor完成计算。

 

Task执行过程

1.执行action型算子时将task发给对应的worker然后worker启动executor执行计算。

2.executor获取运行环境调用task类的run方法执行计算。

Task类是一个抽象类，类中的run方法调用了一个runTask的抽象方法。

标签
#spark #任务调度
最低0.47元/天 解锁文章
RDD的处理过程
m0_59839948的博客
05-04 3388
Spark用scala语言实现了RDD的API，程序开发者可以通过调用API对RDD进行操作处理。 下图为RDD的处理过程： RDD经过一些列的“转换”操作，每一次转换都会产生不同的RDD，以供给下一次“转换”操作使用，直到最后一个RDD经过“行动”操作才会被真正计算处理，并输出到外部数据源中，若中间的数据结果需要复用，则可以进行缓存处理，将数据缓存到内存中。需要注意的是，RDD采用了惰性调用,即在RDD的处理过程中,真正的计算发生在 RDD的“行动”操作，对于“行动”之前的所有...
RDD数据丢失后如何恢复？RDD容错机制介绍
qq_41293655的博客
03-09 1794
RDD是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。对于迭代式计算和交互式数据挖掘，RDD可以将中间计算的数据结果保存在内存中，当Spark集群中的某一个节点由于宕机导致数据丢失，就可以通过Spark中的RDD进行容错恢复已经丢失的数据。RDD提供了两种故障恢复的方式，分别是血统（Lineage）方式和设置检查点（checkpoint）方式。下面，我们就来介绍一下这两种方式。 血统（Lineage）方式，主要是根据RDD之间的依赖关系对丢失数据的RDD
RDD调用机制、数据流在RDD中的流通
qq_41635401的博客
11-16 1149
第一个调用iterator的地方现在知道compute方法的入口方法时iterator方法，即整个调用链是从iterator方法开始的，既然rdd的处理调用是一个向上迭代的过程，那么第一个调用iterator的地方在哪里呢？RDD算子最终会被转化为shuffle map task和result task，并发送到executor执行。而这个地方就在ShuffleMapTask的runTask方法中：进入write方法会在传入的rdd基础上调用RDD的iterator方法。进入该方法：
RDD的处理方法（创建、转换、行动、分区）
abcdrachel的博客
04-26 2194
spark生态系统：底层是spark core，在spark core的基础上开发了其他组件，可以支持不同的应用场景。spark sql支持sql 查询，spark streaming可以支持流计算，spark mLlib支持机器学习等。rdd编程是指spark core（底层）的编程。为什么叫rdd编程？因为整个过程就是对rdd的一次又一次的转换。 rdd编程基础 rdd创建 现...
【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解（图文解释）
showswoller的博客
12-17 2084
【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解（图文解释）
学习笔记Spark（四）—— Spark编程基础（创建RDD、RDD算子、文件读取与存储）
别呀的博客
10-08 8306
文章目录一、创建RDD1.1、启动Spark shell1.2、创建RDD1.2.1、从集合中创建RDD1.2.2、从外部存储中创建RDD任务1：二、RDD算子2.1、map与flatMap算子应用2.1.1、map2.1.2、flatMap2.1.3、mapPartitions2.2、sortBy与filter算子应用2.2.1、sortBy2.2.2、filter任务2：2.3、交集与并集计算的算子应用2.3.1、distinct2.3.2、union2.3.3、intersection2.3.4、su
【笔记】RDD笔记（Spark基础知识）
哇咔咔哇咔的博客
03-25 1566
Spark基础知识、RDD操作笔记
Spark RDD详解
resemble的博客
10-10 5896
1.Spark 介绍： spark出现的主要原因 多个 MapReduce 任务之间没有基于内存的数据共享方式, 只能通过磁盘来进行共享。这种方式明显比较低效。 在 Spark 中, 计算不涉及与其他节点进行数据交换，Spark可以在内存中一次性完成这些操作，也就是中间结果无须落盘，减少了磁盘IO的操作。 1.1 Spark核心组件 spark的核心是Spark Core，其中上面的Spark Sql对接的是Hive等结构化查询，Spark Streaming是对接的流式计算，后面的那两个也是主要用在科
快速了解RDD的创建与处理过程
最新发布
夏天又到了的专栏
11-20 933
的创建及其处理过程。本节所有实战均在Spark Shell命令行方式下进行。Spark Shell是Spark提供的一个交互式分析工具，用于快速开发和调试Spark应用程序。它是一个集成了Scala解释器的交互式环境，允许用户直接在Shell中执行Spark操作，无须编写完整的Spark应用程序。Spark Shell提供了许多内置的函数和变量，例如SparkContext和SparkSession对象，这些对象在启动Spark Shell时会自动创建。
Spark RDD 论文详解（四）表达 RDDs
Shockang的博客
12-26 3668
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 目录 Spark RDD 论文详解（一）摘要和介绍 Spark RDD 论文详解（二）RDDs Spark RDD 论文详解（三）Spark 编程接口 Spark RDD 论文详解（四）表达 RDDs Spark RDD 论文详解（五）实现 Spark RDD 论文详解（六）评估 Spark RDD 论文详解
spark源码阅读笔记RDD（四）RDD中WithScope是什么？
legotime的博客
05-01 7158
withScope是最近的发现版中新增加的一个模块，它是用来做DAG可视化的（DAG visualization on SparkUI） 以前的sparkUI中只有stage的执行情况，也就是说我们不可以看到上个RDD到下个RDD的具体信息。于是为了在 sparkUI中能展示更多的信息。所以把所有创建的RDD的方法都包裹起来，同时用RDDOperationScope 记录 RDD 的操作历史和
Spark RDD五大特性
一亩三分地
03-12 2323
学习rdd的特性最好是从官网和源码来进行学习，首先看下官网解释：http://spark.apache.org/docs/latest/rdd-programming-guide.html#resilient-distributed-datasets-rdds Resilient Distributed Datasets (RDDs) Spark revolves around t...
spark_rdd算子介绍
HYSliuliuliu的博客
12-19 7990
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。
Spark RDD编程
qq_42260493的博客
11-18 1397
对于内连接，对于给定的两个输入数据集(K,V1)和(K,V2)，只有在两个数据集中都存在的key才会被输出，最终得到一个(K,(V1,V2))类型的数据集。将每个元素传递到函数func中，并将结果 “拍扁” 返回为一个新的数据集（新RDD的元素个数与原本RDD的元素个数无必然联系）将rdd持久化到磁盘，表示将RDD作为反序列化的对象存储在JVM中，如果内存不足，超出的分区将会被存放在硬盘上。将每个元素传递到函数func中，并将结果返回为一个新的数据集（新RDD的元素个数等于原本RDD的元素个数）
Spark学习笔记10:创建RDD
balabalalibala的博客
05-17 1852
目录 一、什么是RDD （一）RDD概念 （二）RDD示例 （三）RDD主要特征 二、做好准备工作 （一）准备文件 1、准备本地系统文件 2、启动HDFS服务 3、准备HDFS系统文件 （二）启动SparkShell 1、启动Spark服务 2、启动Spark Shell 三、创建RDD （一）从对象集合创建RDD 1、利用parallelize()方法创建RDD 2、利用makeRDD()方法创建RDD 3、总结说明 （二）从外部存储创建RDD 1、读取......
Spark总结之RDD(四)
xiaohu21的博客
09-21 921
Spark总结之RDD(四) 1. 背景 Spark针对RDD的整体设计思想很多地方和MapReduce相似,但又做了很多优化. Spark整体API设计针对分布式数据处理做了很多优化,并且做了更高层级的抽象,API使用更加简单便捷.例如RDD\DataSet\DataFrame\DStream等 本文主要关于RDD的介绍,RDD类型较多,大的分类是Transformation和Action类型,但具体的RDD中又可以进一步细分为基础的RDD和在基础RDD之上的高级RDD(内部调用基础RDD以及各种操作)
Spark RDD优化
weixin_74292291的博客
07-10 1586
分区优化、持久化优化、依赖优化、共享变量优化、提交模式与运行模式优化、其他优化
Spark——实验四：从HBASE建立RDD
maochaofei的博客
06-05 1421
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 基于ubuntukylin14.04(16)通过命令行建立hbase程序 1.1 创建hbase表 1.2 配置Spark 1.3 编写程序读取HBase数据 1.4 编写程序向HBase写入数据 2. 基于ubuntukylin14.04(16)通过eclipse平台运行hbase程序 2.1 创建Hbase程序 2.2 在Eclipse运行HBase程序 一. 实验目的   学习从hbase库建立RDD数据结构的主要技术。 二. 实验内
Spark入门(四)——Spark RDD算子使用方法
热门推荐
17611119847
05-26 1万+
Spark RDD算子使用方法 spark算子语法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值